本地搭建大模型知识库Ollama+AnythingLLM（保姆级）

安装OLLAMA

好多同学不知道怎么下载需要用到的工具，我这里给大家都准备好了，需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型，7B大模型，7亿参数，至少需要8G内存，越大回复越流畅，

下载完后，双击OllamaSetup，自动安装成功，默认安装在C盘，不能选择安装路径的哦，安装完后，右下角会出现Ollama图标。

创建环境变量

OLLAMA_MODELS，随意指定变量值，如图所示：

OLLAMA_MODELS

重启OLLAMA

选择右键小图标，然后退出，

在开始菜单中找到重启Ollama

重启后目录如下：

创建Modelfile

在blobs下创建Modelfile文件，没有后缀。

加载模型

1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下，和ModelFile同目录（不一定非要同目录，如果放到其他地方，以下路径随着更改就行）

FROM ./qwen7b.gguf

2、在Modelfile所在路径输入cmd，然后回车：

3、执行命令

ollama create qwen -f Modelfile.txt

等待差不多10分钟，出现success表示成功。

成功后的目录

查看模型

ollama list

运行模型

ollama run  qwen

运行成功的窗口如下：

这样就可以开始对话了

安装包获取

在使用的过程中会遇到很多问题，而且很多问题在网上找不到答案，因此我给大家搭建了一个环境，建了一个群，相关安装包都在里面了，专门沟通AI大模型领域，非诚勿扰！扫码请备注“大模型”，带其他目的人请走开，二维码文末名片中。

下一篇将讲解如何通过结合ollama+AnythingLLM搭建企业自己的知识库