最近在网上看到了llama模型的部署,故写下此篇文章来记录一下我的部署过程。
部署大模型有着多种方式,但是我用的是一键安装的方式,在网上可以找到很多一键安装包,方便简洁。
第一步需要下载好一键安装包,大约在2.5g左右。
一键安装包下载地址:
链接:https://pan.baidu.com/s/1MVfik3ZM3dIloGZMqTbSAA
提取码:1221
下载好一键安装包以后打开start_Windows,等待一段时间会自动跳到大模型的交互界面。我们可以先试试与AI进行交流,发现并不是那么智能,因为缺少大模型。所以我们需要去下载一个大模型添加到里面,我用的是Chinese-llama-2-7b的模型,还有一个1.3b的模型,稍显笨拙一点,所以我的建议是下载7b的模型,至少在聊天的时候还能知道你在说什么。
Chinese-llama-2-7b大约在12.5g左右,模型是被汉化过。
模型下载地址:
链接:https://pan.baidu.com/s/1AB-QphUwGA0kKCRzOOj7Jg
提取码:1221
!!!模型下载好以后,需要解压到一键一键安装包里里面的models文件夹里面
上述工作做好以后,我们打开start_Windows,会进入到聊天界面,打开model界面
选择Chinese-llama-2-7b模型,点击load,等待一段时间,显示加载成功以后便可以使用当前模型。示意图如下:
注意事项:
1.在下载一键安装包的时候,建议新建文件夹,并且为全英文的路径,不然容易报错。
2.模型较多,根据自己的电脑配置选择合适的模型。
3.7b的模型可能语料库还是不够多,在聊天的时候可能有些问题,自己多试试。
4.此篇文章仅仅用来记录我的部署过程,大部分来自于其他人的经验,如有侵权,请私信一下,谢谢各位!!!