AI 项目：在 Android 手机上运行 LLaMA 和 Gemma AI 模型 使用 C++ 和 Python 运行 LLaMA 和 Gemma LLM

最新推荐文章于 2024-12-20 20:30:45 发布
最新推荐文章于 2024-12-20 20:30:45 发布
阅读量535 收藏
点赞数
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： llama genma llm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iCloudEnd/article/details/136708768
版权
本文介绍了如何在Android手机上利用Termux运行LLaMA和Gemma大语言模型。通过Termux，一个Linux终端应用，配合SSH，可以在手机上执行LLaMA.CPP和Gemma.CPP。测试表明，尽管7B参数的模型在速度上有限，但2B模型表现出色，适合移动设备。这种方法降低了运行大型语言模型的成本，且便于开发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如今，“移动AI”已成为快速发展的趋势。智能手机变得更加强大，大型机型变得更加高效。有些客户可能想等到手机制造商添加新功能，但我们可以自己使用最新的人工智能模型吗？确实，我们可以，而且结果很有趣。在本文中，我将展示如何在 Android 手机上运行 LLaMA 和 Gemma 大语言模型，我们将了解它是如何工作的。像往常一样，在我的所有测试中，所有模型都将在本地运行，并且不需要云 API 或付款。

让我们开始吧！

Termux

我们测试的第一个组件是Termux，这是一个作为 Android 应用程序制作的成熟的 Linux 终端。它是免费的，并且不需要 root 访问权限；所有 Linux 组件都专门在 Termux 文件夹中运行。Termux 可以从Google Play下载，但在撰写本文时，该版本相当旧，Termux 中的“pkg update”命令不再起作用。F-Droid网站上提供了较新版本的 APK ；它运行良好，我使用它没有任何问题。

当Termux安装在手机上后，我们可以运行它并看到标准的Linux命令行界面：

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
使用 Gemma 2B 在 Android 上进行设备上的 LLM 处理 | AI 聊天应用程序
iCloudEnd的博客
08-01 195
优点隐私：通过在设备上本地处理数据，设备上的 LLM 减少了通过互联网发送敏感信息的需要，从而增强了用户隐私。离线功能：设备上的 LLM 无需互联网连接即可运行，使用户即使在离线环境中也可以访问语言处理功能。低延迟：在本地处理数据可减少将数据发送到远程服务器进行处理的延迟，从而加快响​​应时间。降低数据成本：用户可以避免将数据发送到远程服务器进行处理所产生的数据费用。定制：设备上的 LLM 可以针对特定用例或设备进行定制和优化，从而实现更大的灵活性和性能优化。
如何在 Android 手机上运行 Llama 3.2，使用 Ollama 在 Android 上运行 Llama 3.2 和其他大型模型的分步指南
iCloudEnd的博客
10-01 2182
在刚刚落下帷幕的 Meta 开发者大会上，Llama 3.2 惊艳亮相，这次不仅拥有多模态能力，还与 Arm 等公司合作，推出了专门针对高通、联发科硬件优化的“移动”版本。具体来说，Meta 发布了四种型号的 Llama 3.2：具有 110 亿和 900 亿个参数的多模态版本具有 10 亿和 30 亿个参数的轻量级纯文本模型据官方数据显示，Llama 3.2 11B与90B已展现出超越同等尺寸闭源型号的性能。
生成式AI在学术写作中的应用：DeepSeek、通义千问、ChatGPT、Gemini、Llama、Mistral和Gemma的比较
03-14
Deepseek 和通义千问LLMs在2025年初因其低成本和开放访问的LLM解决方案而变得流行。一家位于中国浙江省杭州市的公司于2024年12月宣布了其新的LLM，DeepSeek v3。随后，阿里巴巴于2025年1月29日发布了其AI模型通义千问2.5 Max。这些免费且开源的工具对世界产生了重大影响。Deepseek和通义千问也有潜力被世界各地的许多研究人员和个人用于学术写作和内容创作。因此，确定这些新LLM生成高质量学术内容的能力至关重要。本研究旨在通过将通义千问2.5 Max和DeepSeek v3与流行的系统如ChatGPT、Gemini、Llama、Mistral和Gemma进行比较，评估其学术写作性能。在这项研究中，使用了关于数字孪生和医疗保健主题的40篇文章。本研究的方法包括使用生成式AI工具基于提出的问题生成文本并对这40篇文章的摘要进行改写。然后，通过抄袭检测工具、AI检测工具、字数比较、语义相似性工具和可读性评估对生成的文本进行了评估。观察到抄袭测试结果率对于改写的摘要文本一般较高，而对于生成的问题答案较低，但两者均高于可接受水平。在使用AI检测工具进行的评估中
android手机上使用ollama快速验证大模型
SecularBird的专栏
08-04 2964
Android 手机上方便的测试各种模型的一个方法那就是配置ollama服务，借助ollama的能力下载不同的模型进行测试。
AI在Android中的应用
明明
12-11 4890
翻译： https://android.jlelse.eu/the-use-of-artificial-intelligence-in-android-development-c87eb74dc798   信不信由你，我们当前正生活在一个技术革命的年代。我们曾经像做梦一样的技术——人工智能（artificial intelligence），在世界的每一个角落，对商业的成功起着必不可少的作用。在...
太酷了！手机上部署最新AI大模型！只需2步！
2301_82275412的博客
05-11 2318
我们不禁感慨，虽然目前AI的实际应用仍显得零星，但技术的发展确实需要时间的积累。大型模型的昂贵推理成本无疑限制了其广泛的推广和应用。然而，正是像Llama 3和Phi3这样的小模型的崭露头角，让我们看到了大型模型实用化的希望。虽然小模型的训练成本相对较高，但它们低廉的推理成本为整体经济带来了显著的节省，尤其是在为海量用户提供服务时，高性能的小模型让AI摆脱了成本的束缚，更加灵活地应用于各种场景。想象一下，如果我们能够根据自己的需求在本地部署定制化的AI，那种魅力将是无法言喻的！
HiAI 模型集成应用场景和开发指南
DevEco的博客
10-29 2658
中文版 HiAI 模型集成应用场景和开发指南         该开发指南可以指导Android手机应用开发者将常见深度学习框架(Caffe、Tensorflow、Coreml、PaddlePaddle)训练的AI模型集成到华为NPU手机中。
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
iCloudEnd的博客
07-25 1691
Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3.1 模型的过程，并与其他领先的 AI 模型进行比较。
LLaMA 3.2 Vision 实践教程：使用 LLaMA 3.2 Vision ， LLaMA 3.2 Vision 如何集成先进的视觉感知和文本处理，实现强大的图像理解和 AI 驱动的文档分析
iCloudEnd的博客
10-01 1725
人工智能领域正在迅速发展，人们越来越重视多模态人工智能——即模型处理和理解来自多种模态（如文本和图像）的输入的能力。Meta的 LLaMA 3.2 Vision是该领域最新、最先进的创新之一。这个强大的多模态模型集成了语言和视觉，在视觉推理、文档理解和基于图像的创意应用方面提供了前所未有的能力。在本博客中，我们将探索 LLaMA 3.2 Vision 的功能、其独特的架构、性能基准，并引导您完成一个动手教程，以使用该模型执行图像文本任务。
分享AI大模型入门到精通的正确学习路线，收藏起来慢慢学
bugyinyin的博客
08-14 484
随着人工智能技术的飞速发展，特别是深度学习领域的突破，AI大模型已经成为推动各行各业变革的关键力量。从自然语言处理到计算机视觉，再到多模态融合，AI大模型正在以前所未有的速度改变着我们的世界。对于想要进入这个领域的学习者来说，了解正确的学习路线至关重要。一份系统的技术路线图，详尽的全套学习资料，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。无论是初学者，还是希望在某一细分领域深入发展的资深开发者，这样的学习路线图都能够起到事半功倍的效果。
探索未来智能对话：Demo App for Llama.cpp 模型
gitblog_00066的博客
06-01 318
探索未来智能对话：Demo App for Llama.cpp 模型 sherpaA mobile Implementation of llama.cpp项目地址:https://gitcode.com/gh_mirrors/sher/sherpa 在这个快速发展的科技时代，我们有幸接触到了一个创新的开源项目——基于llama.cpp模型的Demo App。这个应用旨在为你提供一种类似于Open...
尝试在手机上运行google 最新开源的gpt模型 gemma
CHNIM的博客
04-09 1592
Gemma是谷歌于2024年2月21日发布的一系列轻量级、最先进的开放语言模型，使用了与创建Gemini模型相同的研究和技术。由Google DeepMind和Google其他团队共同开发。Gemma提供两种尺寸的模型权重：2B和7B。每种尺寸都带有经过预训练（pre-trained）和经过指令调制（instruction-tuned）的变体。
llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型
--
12-20 852
以下是经实验验证可行的环境参考，也可尝试其他版本。将你想推理的image.jpg放到./img目录。声明：资源可能存在第三方来源，若有侵权请联系删除！（2）软件环境：如下表所示。
安卓上部署 lama3.1 大模型
pinke的博客
07-28 1364
安卓手机下部署的ollama方法.主要是能用国内源的就用国内源,可用内存>6G的就行
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1200
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
impala llama_使用Llama根据您的位置自动更改Android手机的设置
09-17 643
impala llamaLlama is a clever Android app that can automatically perform actions based on your location. It uses cell towers — not GPS — so it won’t use much additional battery power. In fact, Llama c...
(七)将AI样式迁移TensorFlow Lite模型添加到Android应用程序
寒冰屋的专栏
03-13 1269
​ 在本系列文章中，我们将展示一个基于循环一致对抗网络(CycleGAN)的移动图像到图像转换系统。我们将构建一个CycleGAN，它可以执行不成对的图像到图像的转换，并向您展示一些有趣但具有学术深度的例子。我们还将讨论如何将这种使用TensorFlow和Keras构建的训练有素的网络转换为TensorFlow Lite并用作移动设备上的应用程序。 ​
安卓机上 4G 内存跑 Alpaca，欢迎试用轻量级 LLM 模型推理框架 InferLLM
旷视开发者技术社区
05-10 1323
从 LLM 火爆以来，社区已经出现了非常多优秀的模型，当然他们最大的特点就是体积大。最近为了让大模型可以在更低端的设备上运行，社区做了非常多的工作， gptq 实现了将模型进行低比特量化，因此降低了运行大模型对 CPU 内存、GPU 显存的要求，llama.cpp 实现了在本地 CPU/GPU 上就可以运行大模型，并且步骤非常简单，replit-code-v1-3b 用更小的模型实现了更智能的 c...
基于MLC LLM将Llama2-7B模型部署至Android手机运行
tao_spyker的博客
12-07 7045
MLC LLM 将Llama2-7B部署至android手机并成功运行
llama3和gemma2的区别
最新发布
03-24
### Llama3 和 Gemma2 的特性、性能及应用场景比较 #### 特性 (Features) Llama3 是 Meta 开发的一系列开源大语言模型中的最新版本之一，其主要特点在于支持多模态输入以及更高的上下文长度处理能力[^1]。相比之下，Gemma2 则是由 MoonShot 推出的一款闭源大型语言模型，专注于对话理解和生成质量优化。 - **多模态支持**: Llama3 提供了更强的图像和文本联合理解功能，而 Gemma2 主要集中在纯文本交互上。 - **参数规模**: 虽然具体数值未公开披露，但从先前版本推测，两者可能处于相似量级但各有侧重领域内的调优策略不同。 #### 性能 (Performance) 在实际测试中发现： - 对于复杂逻辑推理任务如数学计算或者编程代码撰写方面，基于前代产品表现来看，Llama 系列通常展现出较强优势因为它们接受过广泛技术文档训练从而具备良好编码能力和科学知识基础； - 另一方面，在涉及自然流畅的人际交流场景下比如客服聊天机器人应用场合里，则可能是经过专门微调后的Gemmas系列产品会更胜一筹由于它更加注重用户体验友好性和情感共鸣建立过程。 #### 应用场景 (Use Cases) 鉴于上述区别可以得出结论如下： - 如果目标项目需要利用到视觉数据配合文字分析解释等功能模块构建解决方案的话那么选择Meta家出品LLaMA家族成员将是明智之举因为它能够很好地融合不同类型的信息资源来解决问题并提供全面见解; - 当仅仅关注高质量书面表达或者是创建虚拟助手用于日常沟通联系目的之时考虑采用由Moonshot打造而成GEMMAs品牌也许更为合适因其擅长营造亲切互动氛围使得机器回复听起来更像是真人所说话语一般温暖贴心. ```python # 示例代码展示如何加载预训练模型（假设存在官方API） from transformers import pipeline nlp_llama = pipeline('text-generation', model='meta-llm/Llama3') nlp_gemma = pipeline('conversational', model='moonshot/Gemma2') result_llama = nlp_llama("Explain quantum mechanics simply.") result_gemma = nlp_gemma([{"speaker":"USER","text":"Tell me about your day?"},{"speaker":"BOT"}]) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值