ubuntu本地部署llama3大模型

安装大模型

首先需要安装curl：

sudo apt install curl

然后安装 ollama，可以去ollama.com复制下载命令：

curl -fsSL https://ollama.com/install.sh | sh

然后就是启动ollama服务：

ollama serve

出现这个说明已经运行，然后需要修改ollama端口：

sudo nano /etc/systemd/system/ollama.service

在[service]最后面加上两行：

Environment=“OLLAMA_HOST=0.0.0.0”
Environment=“OLLAMA_ORIGINS=*”

ctrl+s保存，ctrl+x退出。用cat命令看一下：

cat /etc/systemd/system/ollama.service

ok，没问题的话。重新加载systemd守护进程并启用Ollama服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl stop ollama #关闭服务
sudo systemctl start ollama #启动服务

运行llama8b大模型：

ollama run llama3:8b

等待下载完成：

试一试：

如果要装其他模型，可以在这里搜索：
然后选下载量高的模型，点下载，复制对应指令运行即可：

安装 ChatBox

安装Web UI需要docker。这里直接安装ChatBox：
下载ubuntu版本，后缀是.AppImage。下载完了，进入下载的文件夹，打开终端，赋予文件执行权限

chmod +x Chatbox-1.3.15-x86_64.AppImage

直接运行

./Chatbox-1.3.15-x86_64.AppImage

点开始设置，然后模型选ollama，就可以看到下面的界面了：

选择llama3:8b模型，点保存即可。

然后点新对话，或者just chat：

anythingLLM

chatBox我试了下，没有RAG，就相当于没有本地知识库，所以换anythingLLM。
可以在 anythingLLM官网 查看如何下载，这里使用非docker方式，命令行输入：

curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh

安装完的APP位于$HOME/AnythingLLMDesktop，你可以通过脚本启动：

~/AnythingLLMDesktop/start

然后get started，选ollama：

然后一路点 -> ,可能需要填一下邮箱，自己写一下工作区的名字，如我叫embeddedWorkSpace。其余设置可以在这个按钮上完成：
新建一个文档，作为知识库：
不导入文档进行测试：
现在开始导入知识库：

其中第三步是当你点完2后，会弹出一个按钮Move to Workspace，你点一下就会过去了：

再问一下试一试：

如果你需要修改比如使用什么向量数据库，你可以在这边配置：

接入QQ群

本来qq群打算用到go-cqhttp，不过看官方说接口被封死了，然后腾讯推出NTQQ可以用来弄：QQ机器人快速注册指南

首先要去注册好qq机器人，然后根据 git教程 安装qq机器人开发工具botpy：

pip install --upgrade pip #更新一下pip
sudo pip install qq-botpy
#sudo pip install qq-bot --upgrade #这个是SDK

下载botpy:

git clone https://github.com/tencent-connect/botpy

进入botpy文件夹，配置依赖

cd ./botpy
sudo pip install -r requirements.txt # 安装依赖的pip包
pre-commit install # 安装格式化代码的钩子

先确保安装了pytest:

sudo pip install pytest

然后可以运行测试案例了,报错：

.....
class CeilTimeout(async_timeout.timeout):
E   TypeError: function() argument 'code' must be code, not str

更新一下aiohttp：

sudo pip install --upgrade aiohttp

报错

....
ERROR: qq-bot 0.8.5 has requirement aiohttp<3.8.0,>=3.6.0, but you'll have aiohttp 3.9.5 which is incompatible.
Installing collected packages: async-timeout, aiohttp
....

版本太高了，这里我需要安装3.8以下版本,3.6及以上版本

sudo pip install “aiohttp<3.8.0”
sudo pip install “aiohttp>=3.6.0”

查看版本，确保版本没问题

pip freeze | grep aiohttp

参考

AnythingLLM Docs
Llama3 中文Llama3 中文版本地环境搭建和部署实战ollama版
创造未来知识管理新篇章：Ollama与AnythingLLM联手打造个人与企业的安全知识库！
QQ机器人快速注册指南
Ubuntu系统下部署大语言模型：Ollama和OpenWebUI实现各大模型的人工智能自由
WSL安装使用Ollama
手把手教你快速部署Ollama与大模型
如何将 Chatbox 连接到远程 Ollama 服务：逐步指南