【大模型教程全网最细】从大语言模型到知识库、微信机器人的全本地部署教程，手把手教程，全程白嫖0付费，断网可用的丝滑体验！

hi~好久不见，今天为大家带来的是一篇全本地部署的教程。

从大语言模型、到知识库工作流平台、到微信机器人项目，全部本地部署并且串联起来，使你的微信机器人可以使用本地的大模型和知识库进行回复。

不谦虚的说，这应该是全网最详细的手把手教程。

我敢这么说，是因为在我自己部署的时候，遇到了几个问题，几乎翻遍了线上的所有教程，多是炫技，看似教学，实则引流，皮毛一堆，而没有一个讲关键点如何处理的。

我们需要进行部署的有以下三大部分

1、本地部署大语言模型：Ollama+Qwen2:0.5b

2、本地部署知识库工具：FastGPT+OneAPI

3、本地微信机器人部署与接入：HOOK或COW API接入

---

一、部署大语言模型

①、下载并安装Ollama

1、点击进入https://ollama.com/download，根据你的电脑系统，下载Ollama

2、下载完成后，双击打开，点击“Install”

3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成

http://127.0.0.1:11434/

②、下载 qwen2:0.5b 模型（0.5b是为了方便测试，几乎任何电脑都可以跑起来，建议先试用这个模型。全部跑通后可以更换下载更大的模型）

1、

如果你是windows电脑，

• 点击win+R
• 输入cmd，点击回车

如果你是Mac电脑，

• 按下 Command（⌘）+ Space 键打开Spotlight搜索。
• 输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。

2、复制以下命令行，粘贴进入，点击回车：

ollama run qwen2:0.5b

3、回车后，会开始自动下载，等待完成

（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）

4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。

③、安装Docker Desktop

1、点击去下载，根据你的系统进行选择。我是Windows系统，以这个为例

https://docs.docker.com/desktop/install/windows-install/

2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。

3、点击“close and restart”重启电脑

4、重启后，点击：“Accept”

5、选择第二个即可，点击"Finish"

6、然后会进入Docker Desktop。此处完成。

本地语言模型部署完成，继续。

二、部署本地知识库：FastGPT+OneAPI

①、部署项目

1、在桌面 按住“shift”+鼠标右键，选择“在此处打开Powershell窗口”

2、在窗口中一行一行输入并回车：

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

3、等待上方命令执行完成，下载完成之后。不要关掉窗口

回到桌面，打开FastGPT文件夹，你会看到有两个文件

右键docker-compose.yml文件，选择打开方式-记事本打开

⚠️注意：这一步非常关键！

然后查找这一行：image: ghcr.io/songquanpeng/one-api:

把后缀改成v0.6.7

image: ghcr.io/songquanpeng/one-api:v0.6.7

改完之后保存关掉记事本。

回到命令行窗口中，继续在窗口中一行一行输入并回车：

4、等待全部执行完成。命令窗口先不关

②、配置OneAPI

在浏览器中输入：http://localhost:3001

进入登录页，账号 root 密码 123456，点击登录.

2、点击【渠道】-点击【添加新的渠道】

3、类型选择Ollama，

名称：qwen2

模型：qwen2:0.5b

秘钥：sk-sky

代理：http://host.docker.internal:11434

4、点击提交，然后回到“渠道”会发现有了qwen2的一列。点击“测试” 如果弹出，测试成功，说明大模型调通了。

4、点击【令牌】 - 【添加新令牌】

6、名称随意，时间设为永不过期、额度设为无限额度。点击【提交】

7、点击【令牌】，会看到自己设置的。点击复制即可复制key。

五、配置FastGPT

1、回到FastGPT文件夹里，依旧记事本打开“docker-compose.yml”文件，然后查找到 OPENAI_BASE_URL

Base url用这个：http://host.docker.internal:3001/v1

key：直接粘贴进去然后保存即可。

2、在打开config.json

根据图示修改完成，然后把下边的数值先改成1500左右。

3、回到命令窗口，在命令窗口中输入：

docker compose down

等待执行完成

4、在命令窗口中输入：

docker compose up -d

等待执行完成

在浏览器上输入：http://localhost:3000

账号root 密码1234，点击进入

设置好，别忘了点确定。

如果对话框测试有回复，那就是成功接入。

5、发布API，看图进行操作，然后创建一个key。

三、本地COW或Hook机器人

以下两个项目，COW和HOOK可任选其一，建议先选择COW跑通。

①COW教程

注意：本教程完成后，程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行，也就是电脑不能关。

以下教程以windows10系统为例

mac系统步骤也是一样，只是打开命令符的命令些许不同，直接把命令扔给大模型，转换成mac的命令就好了

安装环境

1、点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口

2、在命令窗口中，粘贴入以下代码，确认是否有python

python --version

3、粘贴入以下代码，确认是否有pip

pip --version

4、两步命令输入完，核对一下

• 如果有的话，会如上图一样，分别显示出版本号。那么可以跳过“安装环境这一步，直接到“二、部署项目””
• 如果没有的话，会如下图所示，那么需要安装下边的步骤，一步一步安装。

5、先进行python的安装，我帮你把python的安装包已经下载好了，直接点击下载：

暂时无法在飞书文档外展示此内容，公众号回复“COW”获取下载地址即可

5.1 python安装步骤：

5.2 关闭窗口，再次运行那两行命令 会发现已经有了。

三、部署项目

6、下载COW机器人项目，也给你准备好了，直接下载，然后解压缩。

暂时无法在飞书文档外展示此内容

7、解压后，打开COW文件夹，

8、在空白处，shift+鼠标右键，点击“在此处打开Powershell窗口”

9、在Powershell窗口中，粘贴进入：

pip install -r requirements.txt

``

10、等待执行完成后，继续粘贴：

pip install -r requirements-optional.txt

12、上边的都执行完成后，关闭窗口。在当前目录下，找到config-template.json文件。如下图：

13、新生成的便是配置文件，右键-- 使用记事本 打开这个文件，我画红框的地方是需要修改的地方。

因为这个地方对格式和符合要求比较严格，如果是小白，建议你直接复制我下方的配置。

14、

• 删除新文件里的所有代码。
• 复制下边的代码，粘贴到文件里。
• 找到第4行，把fastgpt生成的key，粘贴到双引号里。
• 这也是你唯一需要修改的地方。修改完之后，点击保存，关闭文件。

15、保存上述文件，然后在当前文件下，找到plugins/godcmd文件夹，复制config.json.template重命名为 config.json

16、双击config.json，进入后，设置下你的password和admin_users

可以设置为和我一样的，后边再改，点击保存后关闭。

17、重新回到chatgpt-on-wechat/这个文件路径下，空白处右键，打开Powershell里复制粘贴进入：

python app.py

``

然后将会弹出二维码，扫码登录即可。

18、注意：

（1）程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行。

（2）如果你发现突然不管用了，你可以点击一下窗口，然后点一下空格。因为在选中状态下，powershell窗口是不继续执行的。

（3）其他操作与服务器部署的操作一致。

②、部署Hook机器人

部署完成后，Hook机器人本地模型接入方法是：在配置，config.json时，在此处进行配置

OpneAi_Api就填这个地址: http://localhost:3000/api/v1/chat/completions

然后你登录微信机器人，进行对话，就通了

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。