手机安装系统部署LLM的方法

已于 2024-07-16 17:48:23 修改
阅读量1.4k 收藏 33
点赞数 33
文章标签： llama
于 2024-07-16 17:30:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56558214/article/details/140472081
版权

手机安装系统部署LLM的方法

前置条件:

首先模型选择GGUF格式, 选择Q4_K_M或Q5_K_M量化
手机内存8~12G或以上均可尝试, 参数一般选择7~13B

以下是模型推荐及其大小, 需根据手机内存实际情况选择:
Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF 中文模型, Q4量化5.33G, Q5量化6.26G

Qwen2-7B-Multilingual-RP-GGUF 中文模型, Q4量化4.68 G, Q5量化5.44 G

Loyal-Macaroni-Maid-7B-GGUF 英文模型, Q4量化4.37 G, Q5量化5.13 G

本地部署

下载Termux

需要一个 linux 环境，Termux 是 Linux 环境的模拟器，因此它可以工作。
转到 https://f-droid.org/en/packages/com.termux/ 然后向下滚动页面，然后单击下载apk，然后安装它。

请添加图片描述

打开Termux, 下载依赖

首先需要安装Koboldcpp, 需要安装依赖, 在终端输入如下指令,

pkg install wget git python

随后输入y选择安装

请添加图片描述

输入安装openssl依赖, 此步非必要

apt install openssl

随后输入如下以获取Koboldcpp项目

git clone https://github.com/LostRuins/koboldcpp.git

请添加图片描述

输入

cd koboldcpp

请添加图片描述

随后输入

make

等待编译, 需要几分钟

请添加图片描述

下载模型并启动

首先需要在huggingface里获取下载链接, 然后通过wget来下载, 这里直接把模型下载到当前Koboldcpp目录, 更方便.
先去huggingface获取下载链接, 这里以Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF为例来下载Q5_K_M版本, 项目链接已经在上面的模型推荐中列出了, 这里只需要进到里面获取下载链接即可.

请添加图片描述

选择对应的Q5_K_M, 进入页面后长按download然后复制链接

请添加图片描述

随后回到Termux终端, 在koboldcpp目录下输入wget后, 要隔开空格, 随后把刚才复制的链接地址粘贴到后面

wget https://huggingface.co/mradermacher/Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF/resolve/main/Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

请添加图片描述

模型一般很大, 慢慢等待下载完成即可, 随后终端输入如下, 需要在--model跟模型名, 这个根据你下载的模型名有关

python koboldcpp.py --model Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

请添加图片描述

等待, 出现如下信息就成功了

请添加图片描述

进到浏览器, 输入http://localhost:5001链接后进入, 然后即可尝试了, 效果如下:

请添加图片描述

后续启动的话, 每次启动Termux后终端输入

cd koboldcpp

随后输入

python koboldcpp.py --model Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

然后浏览器输入http://localhost:5001即可
可接入酒馆, 目前测下来手机运行稳定性较差, 经常断掉, 如果不是特殊情况还是用电脑比较稳定.

HHD765
关注
  • 33
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 3282
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
MLC-LLM框架的安卓应用部署实战
u013250861的博客
08-12 49
这里稍微讲解了一些MLC的基本概念，以帮助我们使用和了解 MLC LLM。MLC-LLM 由三个不同的子模块组成：模型定义、模型编译和模型运行。MLC LLM 的三个独立子模块➀ Python 中的模型定义。MLC 提供各种预定义架构，例如 Llama（例如 Llama2、Vicuna、OpenLlama、Wizard）、GPT-NeoX（例如 RedPajama、Dolly）、RNN（例如 RWKV）和 GPT-J（例如MOSS）。开发人员可以仅使用纯 Python 定义模型，而无需接触编码。
如何在安卓手机上本地安装和运行 LLMs
TOPSTIP的博客
05-27 227
本指南教你如何在安卓手机上本地安装和运行 LLMs
MLC LLM：将LLMs部署到消费类硬件的优势、挑战以及解决方案
FrenzyTechAI的博客
08-17 1655
随着生成人工智能（AI）和大语言模型（LLM）的快速发展，基于LLM的应用越来越普及。然而，大规模的模型需要密集计算和庞大的资源，使得许多公司无法承担从头开始训练模型的成本。目前，大部分厂商提供基于云端的LLM服务，需要联网才能使用。这对于需要在专用网络中部署LLM的情况，提供云端模型能力从成本投入和应用效果上来看并不一定是最合适的解决方案。为了解决这个问题，研究人员正在寻找将LLM直接部署在终端设备（如智能柜、一体机、登记终端）和消费类设备（笔记本电脑、手机）上的方法。
牛！手机上轻松部署大模型全攻略！
python1222_的博客
06-12 1957
尽管当前AI的落地应用尚显稀疏，但技术的成长毕竟需要时间，大型模型的高昂推理成本无疑是其普及的桎梏。然而，**正是小模型如Llama 3和Phi3的崭露头角，让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高，但其低廉的推理成本却为整体经济带来显著的节省，特别是在为海量用户提供服务时，高性能的小模型更让AI挣脱了成本的束缚，灵活应用于各种场景。想象一下，能够根据自身需求在本地部署定制化的AI，其魅力不言而喻！
GitHub狂飙3万star的LLM公开资料 - 大模型入门教程
xiangxueerfei的博客
05-05 767
先用一张图片说明这篇blog多火热！本篇大型语言模型（LLM）课程分为三个部分：🧩 LLM基础：涵盖了数学、Python和神经网络的基本知识。🧑‍🔬 LLM科学家：专注于使用最新技术构建尽可能优秀的LLM。👷 LLM工程师：专注于创建基于LLM的应用并部署它们。0. 📝 一些有用的Notebook与大型语言模型相关的笔记本和文章列表🧐LLM AutoEval：使用RunPod自动评估大语言模型（LLMs），colab。
本地部署和运行大型语言模型（Large Language Models, LLMs）的工具Ollama
西京刀客
04-19 1713
Ollama 是一个便于本地部署和运行大型语言模型（Large Language Models, LLMs）的工具。使用通俗的语言来说，如果你想在自己的电脑上运行如 GPT-3 这样的大型人工智能模型，而不是通过互联网连接到它们，那么 Ollama 是一个实现这一目标的工具。
又一神器开源！无需服务器支持！打通手机，浏览器的Web LLM!
千与编程
05-18 800
简单理解Google Chrome Canary，拥有谷歌浏览器的更多性能，它的反应速度更快，性能更高，但同时它的不稳定性以及不确定性也会更高，而我们常用的谷歌浏览器，它的稳定性会更高，要把大模型加载到我们的这个浏览器里，因此使用开发版本的性能会更高一些，同时开发版本也开放了更多的功能参数调节接口，使得我们可以调整更合适的内置参数来优化我们的模型更能体现，那我们废话不多说，可以看到模型回复的效果还是不错的。4.其功能为根据用户的文字描述，生成定制化的图片，进行定制化图片的生成，学习需要设定以下的参数组合。
AI系统部署：从云到边缘设备的实践
程序员光剑
04-23 458
AI系统部署：从云到边缘设备的实践 1. 背景介绍 1.1 人工智能系统的兴起 人工智能(AI)技术在过去几年中取得了长足的进步,推动了各行各业的数字化转型。从语音助手到自动驾驶汽车,从医疗诊断到金融风险管理,AI系统正在渗透到我们生
模型压缩技术:部署大型模型的高效方法
程序员光剑
05-05 126
1. 背景介绍 深度学习模型在过去十年中取得了显著的进步，尤其是在图像识别、自然语言处理和语音识别等领域。然而，这些模型往往非常庞大，需要大量的计算资源和存储空间，这使得它们难以在资源受限的设备上进行部署，例如移动设备和嵌入式系统。模型压缩技术应运而生，旨在减小模型的大小和计算复杂度，同时保持其性能。
大模型教程：使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
python1234_的博客
09-12 275
Milvus 是一款开源的分布式向量数据库，可用于存储、索引和搜索向量数据，适用于生成式 AI（GenAI）应用。Milvus 支持 hybrid search、元数据过滤、重排（Reranking），能够高效处理万亿规模的向量，助力开发者搭建 AI 和 ML 应用。您可以在本地运行 Milvus standalone 或 cluster 版本，或者使用全托管的 Milvus 服务——Zilliz Cloud。
小琳AI课堂：LLaMA 3.1 开源大模型的全新里程碑
最新发布
wx740851326的博客
09-12 298
本期的小琳AI课堂就到这里，希望对大家有所启发和帮助！如果对LLaMA模型还有更多的好奇和问题，欢迎继续提问哦！🌈👋。
11、LLaMA-Factory自定义数据集微调
Andy_shenzl的博客
09-06 1083
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
llama网络结构及源码
靓仔沾点健忘症，写给时间下游的自己
09-12 493
模型初始化、tokenizer、位置编码、mask、模型前向传播，生成下一分词的循环过程
Llama 3.1 大模型指令微调提升中文能力
听雨草堂
09-12 50
Llama 3.1 是一个通用的大型语言模型，尽管它在多种语言上进行了训练，但在某些特定语言（如中文）上的表现可能不如专门针对该语言进行优化的模型。通过指令微调，可以提高模型在处理中文文本时的理解和生成能力。对于某些领域（如医疗、法律、科技等），可能存在大量的中文专业术语和特定表达。通过指令精调，可以让模型更好地理解和生成这些领域的中文内容。通用大模型Llama 3.1 在中文评测数据集C-Eval、CMMLU 上表现不佳，通过精调可以针对特定任务进行优化，提升模型在这些任务上的性能。
Llama 3.1大模型的预训练和后训练范式解析
qianggezhishen的专栏
09-06 831
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。不同模型在MMLU基准测试中的表现他们还出了一个92页的技术报告《Llama 3 Herd of Models》（https://arxiv.org/abs/2407.21783），里面详细介绍了这些模型。
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
ZILLIZ
09-11 299
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！????在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将...
源码编译llama.cpp 、ggml 后端启用自定义BLAS加速
TuringEvo专栏
09-12 248
625我这以编译 windows on arm 的 llama.cpp 、ggml 为例子，其它情况同样可以参考我的文章《源码编译 openblas for windows on arm》我用了自己编译的这个 openblas。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值