转载:玩转大模型,让CodeShell跳跃于手机终端全攻略
背景
最近在Medium上阅读了一篇非常引人入胜的文章-“Unleashing the Potential of LLM: CodeShell’s Journey to Bringing Quantized Models to Mobile Endpoints”,该文详细介绍了如何在智能手机上部署多语言代码大模型CodeShell
,颇具趣味。但出于众所周知的原因,很多人无法访问开源的github以及模型所在的huggingface。因此,我将文章翻译成中文并转载在这里,并将模型文件和运行环境一并打包上传到百度网盘,以供大家下载使用。
模型文件和模型运行环境(百度网盘): 下载链接
提取码: 2yur
Termux: 下载链接 提取码: ivlz
介绍
不久前,我发现了备受瞩目的开源大模型项目 CodeShell。该项目提供了在个人电脑CPU环境下部署 4 bit
量化模型的解决方案。这激发了我将这一解决方案移植到移动手机端的想法。本文将详细记录这一实施过程。
1. 环境准备
1. 1 下载并安装 Termux
- 下载 Termux 应用并安装:Termux Releases,安装后打开Termux,进入如下页面