7 月 23 日消息,Meta 今晚正式发布llama3.1,提供 8B、70B 及 405B 参数版本。
Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中,可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。
那我们可以在自己的电脑上本地化的部署一个模型测试使用,具体的电脑配置的话,因为咱们部署只是推理,基本普通电脑都可以部署,大家预留好硬盘空间,估计在4.7G左右,下面是具体的操作过程。
1、下载安装程序
官网下载地址: https://ollama.com/download
我的电脑是windows,所以下载对应的版本即可,安装包是299M
2、开始安装
下载后点击安装程序即可,默认安装到C盘,安装完成后会弹出powershell的运行窗口
如果没有弹出窗口,则到安装目录去,按住shift+鼠标右键,点击在此处打开Powershell窗口
程序会默认将大模型的数据包下载到C盘,如果大家的C盘空间不是那么富裕,可以修改具体的位置
2.1 windows系统左下角的搜索框里搜索 “高级系统设置”
2.2点击 “环境变量”
2.3 点击新建变量输入变量名“OLLAMA_MODELS” 和变量值(也就是要保存的具体位置,这里保存到了D盘) ,然后点击确定就可以修改保存位置了,然后把模型重启在打开,就可以了。
下载大模型,在窗口里输入运行命令:
ollama run llama3.1
程序会自动下载Llama3.1的模型文件,默认是8B,也就80亿参数版本,个人电脑完全可以运行。
看网速情况,基本上可以满速下载。
3、 测试
打开程序powershell窗口,激活大模型,就可以对话了
4、 部署WebUI
默认是powershell窗口,不太方便使用,因此我们需要部署一个简易的交互窗口,窗口输入如下两个命令即可。
python -m pip install ollama_gui
python -m ollama_gui
第二个命令完成就会弹出一个交互窗口了。可以进行简单的测试和使用了。