手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

在本地电脑上跑大语言模型（LLM），已经不是什么高科技操作了。随着技术的迭代，现在利用Ollam和AnythingLLM就可以轻松构建自己的本地知识库，人人皆可上手，有手就行。过往要达成这一目标，可是需要有编程经验的。

首先得了解一下背后的原理。大概就是三步走：一是LLM，大语言模型，懂得怎么处理自然语言。二是嵌入模型，它的工作就是把复杂的数据简化，转化成易于处理的格式。最后是向量数据库，专门存储和管理那些转化后的数据。

说实话，虽然文章有点长，但里面多是附加的资源和细节，实际上手操作真的挺简单的。感兴趣的朋友，动手试试吧，说不定用AI构建自己知识库这种事挺酷的。

现在，咱们来看看如何实操：

第一步：安装ollam

1. 1. ollam，这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派，只要内存够，跑起来都不是问题。记得，7B模型至少要8G内存，13B的要16G，想玩70B的大家伙，那得有64G。首先，去ollama.com下载适合你操作系统的版本，我用的是Windows，下载安装完之后，在命令行敲一下ollama -V，能看到版本号就说明安装好了。
3. 1. 下载适合本地电脑的大模型，ollama网站上有个“Models”链接，点进去找到“gemma”模型。在“Tags”里面找到你想运行的模型版本，比如“7b”，旁边有个复制按钮，点击后把命令复制下来。然后就是在命令行里跑这个命令，第一次运行会自动下载模型。下载完毕，就能开始和它聊天或者让它帮你写代码了。
4. 

终端输入：

ollama run llama2:7b
1

下载完成后，就进入交互模式，这就可以开始聊天了。

至此，Gemma 模型的_本地部署运行已经完成了_，非常简单。

1. 使用像 ChatGPT 那样的现代的聊天窗口

虽然部署完成了，但是上面那种_古老的终端_可能影响我们的交互体验，下面提供两个现代聊天窗口工具（如果你不想使用这些GUI，这一步可以跳过，不影响本地知识库搭建，**直接去看下面的第二步：**AnythingLLM安装）：chatbox 和 openai web ui。

第一个：chatbox

打开设置，模型提供方选 ollama，API 地址是本地的 11434 端口，模型选 gemma:7b。

地址：https://chatboxai.app/zh

---

第二个：openai web ui

如何安装🚀
请注意，对于某些 Docker 环境，可能需要额外的配置。如果您遇到任何连接问题，我们有关Open WebUI 文档的详细指南随时可以为您提供帮助。

快速开始使用 Docker 🐳
使用 Docker 安装 Open WebUI 时，请确保 -v open-webui:/app/backend/data 在 Docker 命令中包含 。此步骤至关重要，因为它确保您的数据库正确安装并防止任何数据丢失。

• • 如果 Ollama 在您的计算机上，