从 0 开始本地部署大语言模型

1、准备

● Ollama：ollama.com
● Docker：https://docs.openwebui.com/

2、下载 Ollama

进入 Ollama 官网，点击 Download 。

下载完成后，双击安装，什么都不需要勾选，直接下一步即可。安装完成，电脑 Mac（右上角）Windows（右下角）出现这个图标就说明安装成功了。

另外：windows 电脑还需要设置一下环境变量（mac 不需要）。因为Ollama 默认将模型安装在 c 盘，会造成电脑资源紧张。配置如下：
我的电脑-右键-属性中的高级系统设置找到环境变量
系统环境变量名OLLAMA_MODELS，值就是你要把大模型安装的位置，这里我使用 G:\Ollama（换成你自己的）。

3、安装大模型

● 打开电脑终端
● 运行命令 ollama run llama3
● 接下来等待安装完成即可

点击Ollama 官网的 Models

可以看到支持很多的模型

随便选择一个，点击进去

我们在下拉框可以看到，不同的类型，需要不同的电脑磁盘空间，当然越大的，模型就越聪明

4、Ollama的常用操作

● ollama list：列出已安装的本地大型模型信息
● ollama pull xxx:version：更新模型
● ollama rm xxx：删除不再使用的模
● ollama -h：帮助

5、安装Docker

打开官网，点击Getting Started。看Before You Begin的内容，不同的系统下载 docker 的方式

点击进入docker下载

下载完成后，双击安装即可

接下来是安装 open-webui，有几种安装配置，ollama 安装在你的电脑、安装在不同的服务器上

打开终端，运行命令

然后访问：http:localhost:3000
注册一个账号（注册的数据都是存储在本地的）
登录进去
选择你安装的模型，你可以安装多个，来回切换

接下来，你就可以玩起来了