转载:玩转大模型,让CodeShell跳跃于手机终端全攻略

转载:玩转大模型,让CodeShell跳跃于手机终端全攻略

背景

最近在Medium上阅读了一篇非常引人入胜的文章-“Unleashing the Potential of LLM: CodeShell’s Journey to Bringing Quantized Models to Mobile Endpoints”,该文详细介绍了如何在智能手机上部署多语言代码大模型CodeShell,颇具趣味。但出于众所周知的原因,很多人无法访问开源的github以及模型所在的huggingface。因此,我将文章翻译成中文并转载在这里,并将模型文件和运行环境一并打包上传到百度网盘,以供大家下载使用。

模型文件和模型运行环境(百度网盘): 下载链接
提取码: 2yur

Termux: 下载链接 提取码: ivlz

介绍

不久前,我发现了备受瞩目的开源大模型项目 CodeShell。该项目提供了在个人电脑CPU环境下部署 4 bit 量化模型的解决方案。这激发了我将这一解决方案移植到移动手机端的想法。本文将详细记录这一实施过程。

1. 环境准备

1. 1 下载并安装 Termux

  • 下载 Termux 应用并安装:Termux Releases,安装后打开Termux,进入如下页面

在这里插入图片描述

1.

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值