本地部署大模型ollama+anythinLLM

欢迎使用

使用本地部署大模型Windows+ollama+anythinLLM，本人使用的笔记本电脑，没有独立显卡，稍微慢了一点。大家如果有更好的配置当然就更顺畅了，这里仅是个人学习和尝试。

1.ollama

1.1安装ollama

官方网站：https://ollama.com/
官方模型库：https://ollama.com/library

1.2拉取模型

用管理员模式下运行你的cmd指令框，使用如下命令进行拉去：

ollama pull gemma:2b
ollama pull qwen:1.5b  #通义千问

1.3安装向量数据库

pull nomic-embed-text

2.anythingLLM

官方网址：https://anythingllm.com/

2.1下载、安装

这里没什么好说的，自行百度一下

2.2 Seting配置

点击设置图标

选择聊天设置，选择你安装的ollama的模型，聊天模式选择查询，这样对话机器人就会使用现有训练的知识库内容进行回复。

代理配置也是选择ollama和模型

2.3 OpenSettings配置

人工智能提供商>LLM首选项，LLM提供商钟选着刚安装的ollama的模型（我这边选的另一个模型qwen）

人工智能提供商>嵌入首选项，选你刚刚安装的ollama的嵌入文本模型

其他选项默认，即可

3.训练知识库

3.1 上传文件训练

注意这里文件名称要数字或者英文，不要有中文，点击move to workspace按钮

最后点击Save and Embed

配置不高会很慢、很慢、很慢……
等他成功以后就可以开始对话了，回复的内容基本都是知识库里面的。