本地搭建大模型知识库Ollama+AnythingLLM（下）

一、安装OLLAMA

好多同学不知道怎么下载需要用到的工具，我这里给大家都准备好了，需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型，7B大模型，7亿参数，至少需要8G内存，越大回复越流畅，

下载完后，双击OllamaSetup，自动安装成功，默认安装在C盘，不能选择安装路径的哦，安装完后，右下角会出现Ollama图标。

二、创建环境变量

OLLAMA_MODELS，随意指定变量值，如图所示：

OLLAMA_MODELS

三、重启OLLAMA

选择右键小图标，然后退出，

在开始菜单中找到重启Ollama

四、重启后目录如下：

五、创建Modelfile

在blobs下创建Modelfile文件，没有后缀。

六、加载模型

1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下，和ModelFile同目录（不一定非要同目录，如果放到其他地方，以下路径随着更改就行）

FROM ./qwen7b.gguf

2、在Modelfile所在路径输入cmd，然后回车：

3、执行命令

ollama create qwen -f Modelfile.txt

等待差不多10分钟，出现success表示成功。

七、成功后的目录

八、查看模型

ollama list

九、运行模型

ollama run  qwen

运行成功的窗口如下：

这样就可以开始对话了

我们接着讲解，如何通过AnythingLLM实现友好对话的

十、安装AnythingLLM

双击安装包，它会自动安装完成

这是安装后的界面

接下来我们设置一下ollama配置，anythingllm是一个前端，ollama是一个运行大模型的后台，我们现在需要通过anyhtingllm去调用后台接口，方便我们实现友好对话

十一、配置ollama

llmProvider这里选择Ollama，后台访问接口地址url默认为：http://127.0.0.1:11434 ，模型我们选择llama3中文版，也可以选择已经安装的模型qwen，token默认即可，如下图所示：

十二、设置向量数据库

选择lanceDB即可

新建空间

接下来我们测试一下

十三、沟通交流

在使用的过程中会遇到很多问题，而且很多问题在网上找不到答案，因此我给大家搭建了一个环境，建了一个群，相关安装包都在里面了，专门沟通AI大模型领域，非诚勿扰！扫码请备注“AI”，带其他目的人请走开。