在本地部署AI大模型——Ollama+open-webui

近一段时间，大模型的热度有增无减，各大厂商纷纷发布了自己的大模型，但这些模型几乎都有个共同的特点，那就是需要联网使用，此时就会有一个疑问，能不能把厂商发布的这些大模型部署到本地自己的计算机上？直到我发现了一个网站，Ollama，它提供了一个工具可以让你在本地运行大模型。下面我将介绍我对于Ollama的使用方法。

第一种：直接下载使用

首先找到Ollama的官网：Ollama

如果你使用的是Win10及更高系统的话可以直接点击这个链接进入下载页面：Download Ollama on Windows

点击下载并安装，安装完成后会出现这个界面

这样就是安装成功了，根据提示输入

ollama run llama3.1

这样就会将大模型部署在本地并运行了

但是用安装包的方法有一个我认为不太好的地方，就是安装包安装的位置默认是在C盘的，而有C盘空间不足恐惧症的我选择了第二种方法

第二种：使用Docker

Docker是一个开源的应用容器引擎，用于打包、发布和运行应用，它能够让开发者以声明式的方式来描述他们的应用环境，而无需依赖具体硬件或操作系统的底层细节。

首先，在自己的计算机上安装docker，具体的安装步骤可以借鉴一下这位博主写的Docker超详细基础教程_docker -v-CSDN博客

不过用docker部署有一个好处就是仅仅输入几句命令即可部署完成整个模型

安装好docker之后，可以用在docker里部署了，用docker的一个好处就是容易管理

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

在cmd里运行上面的命令，docker就会自动帮你创建镜像和容器

当所有进度条都完成时，就可以输入

docker exec -it ollama ollama run llama2

当然，你也可以尝试其他大模型，在ollama大模型库的网站里：library (ollama.com)，你可以找到你比较喜爱的厂商的大模型下载并使用了

当运行起来时的样子，是这样的

看着黑底白字的命令行界面，总归是有些单调的，这里还有一个前端可视化工具——open-webui，这个工具可以将你和大模型的对话显示在前端浏览器上，直接打开此网址：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

然后运行一句docker命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

运行完成后，打开浏览器并在地址栏输入localhost:3000，然后你就可以看到

这时，点击左面的工作空间，进入工作空间之后你会发现，你的模型列表空空如也，这时候就要去docker中的命令行界面去下载模型了，那么如何下载模型呢？在上文中我们提到了ollama的大模型库的网站library (ollama.com)找到你感兴趣的大模型并点进去，例如我点进llama3.1

那么只需将红框中的命令复制到docker里ollama容器的命令行中即可，默认大小是8b，我的笔记本是11代酷睿i7，16G内存大小运行8b的大模型正合适，运行完命令之后，再次刷新open-webui的页面，你会发现页面中出现了你下载的模型

这时点击模型，即可对话