我们需要进行部署的有以下三大部分:
1、本地部署大语言模型:Ollama+Qwen2:0.5b
2、本地部署知识库工具:FastGPT+OneAPI
3、本地微信机器人部署与接入:HOOK或COW API接入
接下来看看具体怎么操作的吧~
一、部署大语言模型
①、下载并安装Ollama
1、点击进入https://ollama.com/download,根据你的电脑系统,下载Ollama
2、下载完成后,双击打开,点击“Install”
3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成
http://127.0.0.1:11434/
②、下载 qwen2:0.5b 模型(0.5b是为了方便测试,几乎任何电脑都可以跑起来,建议先试用这个模型。全部跑通后可以更换下载更大的模型)
1、
如果你是windows电脑,
点击win+R
输入cmd,点击回车
如果你是Mac电脑,按下 Command(⌘)+ Space 键打开Spotlight搜索。
输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。
2、复制以下命令行,粘贴进入,点击回车:
ollama run qwen2:0.5b
3、回车后,会开始自动下载,等待完成
(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)
4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。
③、安装Docker Desktop
1、点击去下载,根据你的系统进行选择。我是Windows系统,以这个为例
https://docs.docker.com/desktop/install/windows-install/
2、下