本地化部署一个简单的AI大模型，Llama3.1

7 月 23 日消息，Meta 今晚正式发布llama3.1，提供 8B、70B 及 405B 参数版本。

Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中，可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。

那我们可以在自己的电脑上本地化的部署一个模型测试使用，具体的电脑配置的话，因为咱们部署只是推理，基本普通电脑都可以部署，大家预留好硬盘空间，估计在4.7G左右，下面是具体的操作过程。

1、下载安装程序

官网下载地址： https://ollama.com/download

我的电脑是windows，所以下载对应的版本即可，安装包是299M

2、开始安装

下载后点击安装程序即可，默认安装到C盘，安装完成后会弹出powershell的运行窗口

如果没有弹出窗口，则到安装目录去，按住shift+鼠标右键，点击在此处打开Powershell窗口

程序会默认将大模型的数据包下载到C盘，如果大家的C盘空间不是那么富裕，可以修改具体的位置

2.1 windows系统左下角的搜索框里搜索 “高级系统设置”

2.2点击 “环境变量”

2.3 点击新建变量输入变量名“OLLAMA_MODELS” 和变量值（也就是要保存的具体位置，这里保存到了D盘） ，然后点击确定就可以修改保存位置了，然后把模型重启在打开，就可以了。

下载大模型，在窗口里输入运行命令：

ollama run llama3.1

程序会自动下载Llama3.1的模型文件，默认是8B，也就80亿参数版本，个人电脑完全可以运行。

看网速情况，基本上可以满速下载。

3、 测试

打开程序powershell窗口，激活大模型，就可以对话了

4、 部署WebUI

默认是powershell窗口，不太方便使用，因此我们需要部署一个简易的交互窗口，窗口输入如下两个命令即可。

python -m pip install ollama_gui
python -m ollama_gui

第二个命令完成就会弹出一个交互窗口了。可以进行简单的测试和使用了。