手机本地部署端侧大模型

#最近在手机上部署了一个端侧大模型，把部署过程在这里记录一下#

一、本地运行模型的应用程序：ChatterUI

ChatterUI是一个在github上的开源项目，基于 React Native 构建的简单前端应用，用于管理聊天文件和角色卡片，并与大型语言模型进行交互。我把我正在用的版本直接放在了文章最下面，直接下载到手机安装即可。

二、模型格式转换成gguf格式

要在ChatterUI调用模型，需要把Hugging Face的safetensors转换为为gguf格式，以下是模型转换步骤：

1. 下载 llama.cpp仓库

可以直接从github上下载：https://github.com/ggerganov/llama.cpp ，或者下载我正在用的版本，链接放在了文章最下面。

2. 创建虚拟环境

直接用conda创建，Togguf是我自己的虚拟环境名称，懒得改可以直接复制命令运行。

conda create -n Togguf python=3.10

3. 配置环境

模型转换需要用到llama.cpp中的convert_hf_to_gguf.py，在运行直接先配置一下环境，把刚才下载的llama.cpp-master.zip解压，在cmd窗口中cd到该目录下，运行以下命令：

pip