本地（局域网）部署有道QAnything问答的笔记（未完待续写）

已于 2024-06-07 23:26:02 修改
阅读量652 收藏 4
点赞数 7
文章标签： 笔记
于 2024-05-28 23:03:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aqdfxx/article/details/139279051
版权

本地局域网部署有道QAnything

一、环境准备

QAnything 有python版本和docker版本，本文讲述为docker版本。
QAnything的docker版本可以在Linux和Windows with WSL Ubuntu子系统两种环境下部署，本文讲述为Windows with WSL Ubuntu子系统。

小白抄作业，不要只看【环境准备】，要看完【启动运行项目】失败的教训后再抄作业

（一）win内部版本要大于19045（wsl的必要环境）

（二）看见CPU开启虚拟化，说明BIOS设置的虚拟选项已经开启。（wsl的必要环境）

如何开启，自己百度搜：cpu虚拟化怎么开启

（三）安装虚拟化组件（wsl），（wsl和Docker的必要环境）

windows 虚拟机监控程序平台不开启的话可能导致后面docker desktop启动不起来，记得要重启电脑。
在这里插入图片描述

（四）安装Ubuntu

单位的局域网对外网做了限制，不能访问微软商店，所以分发版本的Ubuntu无法在线安装，只能命令行安装，有两种方式

// web请求方式下载Ubuntu20.04
//第一种方式
Invoke-WebRequest -Uri https://aka.ms/wslubuntu2004 -OutFile Ubuntu.appx -UseBasicParsing

在这里插入图片描述
在这里插入图片描述

或者curl方式下载，两种方法都行，都是下载Ubuntu.appx这个安装文件，下载到哪里不知道，就用资源管理器搜Ubuntu.appx，找到后双击运行，就可以不通过微软商店，在本地安装分发版的Ubuntu。

//curl方式下载。
//第二种方式
curl.exe -L -o ubuntu-2004.appx https://aka.ms/wslubuntu2004

在这里插入图片描述

首次启动新安装的 Linux 分发版时，将打开一个控制台窗口，系统会要求你等待一会，以便文件解压缩并存储到电脑上。 后续的所有启动时间应不到一秒。
然后，需要为新的 Linux 分发版创建用户帐户和密码。
在这里插入图片描述

另外更新一下wsl2的升级包

到微软官方下载，链接地址：https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
在这里插入图片描述
将 WSL 2 设置为默认版本

// 将 WSL 2 设置为默认版本
wsl --set-default-version 2
//查看一下版本
wsl -l -v

在这里插入图片描述

（五）安装Docker Desktop

家里的老win10就是低于19044，无法安装最新版的Docker，所以开头就强调版本号，于是我就下载了2.4版。
单位的win11，直接下载最新版4.30
安装的注意事项参考IT大灰狼的笔记

实战搭建网易有道的QAnything(一） 前提准备工作

注意：在windows的WSL Ubuntu子系统下，只安装Docker Desktop，在纯Linux下需要安装Docker和docker compose，见官方说明：

在这里插入图片描述

（六）wls2、Docker从C盘迁移到别的磁盘

默认是安装到C盘的，时间长了，肯定占用C盘空间，所以有必要迁移出来。这个很容易，网上也有很多资料。
1、如果是微软市场分发版的Ubuntu，就参考这个网址https://blog.csdn.net/myf_666/article/details/133663086直接在windows里搬家。
2、如果是命令行安装的Ubuntu，就参考这个网址【WSL2教程】WSL迁移到非系统盘

（七）更新Ubuntu软件包的国内源

这一步在局域网很关键，单位对外网做了很多限制，所以后面项目启动的时候，很多软件包依赖更新会失败。
在sources.list的列表里添加国内源，会大大减少失败的机率。
注意：以下的命令操作，不在powershell窗口操作，而是在自己的Ubuntu窗口里操作，要看见那个~$标志。
在这里插入图片描述

在这里插入图片描述

//进入Ubuntu的apt目录，备份原先的源列表sources.list为sources.list.bak见下图
cd etc\apt
sudo cp sources.list sources.list.bak
//用nano编辑，注意不要在“记事本”里编辑，会引起代码读取错误。
sudo nano sources.list

在这里插入图片描述
在文件最前面添加以下条目：

##中国科技大学源（速度很快）：
deb https://mirrors.ustc.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ focal-security main restricted universe multiverse
##阿里云源：
deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
#deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
##清华大学源：
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

保存并退出编辑器（在nano编辑器中，按Ctrl + X，然后按Y，最后按Enter）。

//及时更新一下软件包
sudo apt update
sudo apt upgrade

（八）安装git

//检查 Git 版本： 打开终端，然后输入以下命令来检查 Git 是否已安装，以及其版本：
git --version
//如果这个命令返回了一个版本号，比如 git version 2.25.1，这意味着 Git 已经安装在你的系统上。如果终端显示消息说找不到 git 命令，那么你需要安装 Git。
//用你的系统的包管理器来安装
sudo apt update
sudo apt install git

（九）安装git-lfs

//添加git lfs软件包下载源
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
//使用标准的ubuntu安装命令安装git-lfs扩展
sudo apt-get install git-lfs
//安装完 Git LFS 后，你需要运行一次 
git lfs install

（十）提前安装一些必要的依赖

在官方和其他帖子里提到这些，顺便安装一下，准没错。

sudo apt-get update
sudo apt-get install unzip
sudo apt-get install jq
sudo apt-get install bc

二、启动运行项目

（一）拉取项目

我对比了一下，只有github上是最新的，国内镜像上的是比较旧的版本。 进入Ubuntu，新建一个目录QA，用于存放QAnything的代码，进入目录

//进入QA目录
cd QA
//拉取本项目
git clone https://github.com/netease-youdao/QAnything.git

（二）拉取RAG构架里的embedding模型

//进入qanything目录
cd qanything
git clone https://www.modelscope.cn/netease-youdao/QAnything.git
//完成后，qanything目录下会有一个约8G的models.zip文件，解压缩
unzip qanything/models.zip

（三）拉取基座大语言模型

//进入custom_models目录
 cd QAnything/assets/custom_models
 //下载千问7B模型
git clone https://www.modelscope.cn/models/netease-youdao/Qwen-7B-QAnything

进入linux子系统，替换字符串

wsl进入自己的linux子系统，更改shell脚本的回车（在windows下创建编辑的shell脚本是dos格式的，而linux却是只能执行格式为unix格式的脚本），否则执行时会报，将回车符替换为空字符串。

//进入qanything目录
cd qanything
sed -i "s/\r//" scripts/run_for_local_option.sh
sed -i "s/^M//" scripts/run_for_local_option.sh
sed -i "s/\r//" scripts/run_for_cloud_option.sh
sed -i "s/^M//" scripts/run_for_cloud_option.sh
sed -i "s/\r//" run.sh
sed -i "s/^M//" run.sh
sed -i "s/\r//" close.sh
sed -i "s/^M//" close.sh

第一次启动失败，显存不够，7B换3B

准备工作完成后，直接运行

//第一次启动
cd QAnything
bash run.sh  # 默认在0号GPU上启动码

不出意外，果然出现意外，报:

您的显卡型号卡4080-16G, 不支持部署Qwen-7B-QAnything模型,推荐部署3B及3B以下的模型，包括在线的OpenAI API

16G的显卡都小了，看来有道的模型太吃显存了，只好下载MiniChat-2-3B

cd QAnything/assets/custom_models
git clone https://www.modelscope.cn/netease-youdao/MiniChat-2-3B.git

第二次启动失败，解决显卡驱动的问题。

//第二次启动，改为启动3B模型，注意：run.sh的启动参数也要按照官方的说明，进行更改。
cd QAnything
bash ./run.sh -c local -i 0 -b hf -m MiniChat-2-3B -t minichat

结果，又失败了，日志显示很多错误都是显卡驱动的问题，又认真看了一下官网的说明，发现下面这个NVIDIA Container Toolkit没有安装。
在这里插入图片描述
于是按照官方给的方法（下图），失败。
在这里插入图片描述
查看了很多帖子，后来到NVIDIA 官网给的办法，成功安装。
官网地址：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
在这里插入图片描述

第三次启动失败，解决境外包下载的问题

解决办法，写在前面的第（七）部分，更新Ubuntu软件包的国内源。

第四次启动失败，目前卡在这里。

在这里插入图片描述

run.sh的参数定义：

bash run.sh [-c <llm_api>] [-i <device_id>] [-b <runtime_backend>] [-m <model_name>] [-t <conv_template>] [-p <tensor_parallel>] [-r <gpu_memory_utilization>] [-h]
 -c <llm_api>：指定LLM API模式，选项为 {local, cloud}，默认为 'local'。若设置为 '-c cloud'，请首先手动设置环境变量 {OPENAI_API_KEY, OPENAI_API_BASE, OPENAI_API_MODEL_NAME, OPENAI_API_CONTEXT_LENGTH} 到 .env 文件中。
-i <device_id>：指定GPU设备ID。
-b <runtime_backend>：指定LLM推理运行时后端，选项为 {default, hf, vllm}。
-m <model_name>：指定要加载的公共LLM模型名称，用于通过FastChat serve API使用，选项为 {Qwen-7B-Chat, deepseek-llm-7b-chat, ...}。
-t <conv_template>：指定使用公共LLM模型时的会话模板，选项为 {qwen-7b-chat, deepseek-chat, ...}。
-p <tensor_parallel>：使用选项 {1, 2} 设置vllm后端的张量并行参数，默认为1。
-r <gpu_memory_utilization>：指定vllm后端的gpu_memory_utilization参数（0,1]，默认为0.81。

Note: 你可以根据自己的设备条件选择最合适的服务启动命令。
(1) 当设置 "-i 0,1" 时，本地嵌入/重新排序将在设备 gpu_id_1 上运行，否则默认使用 gpu_id_0
(2) 当设置 "-c cloud" 时，将使用本地Embedding/Rerank和OpenAI LLM API，仅需要约4GB VRAM（适用于GPU设备VRAM <= 8GB）。
(3) 使用OpenAI LLM API时，您将被要求立即输入{OPENAI_API_KEY, OPENAI_API_BASE, OPENAI_API_MODEL_NAME, OPENAI_API_CONTEXT_LENGTH}。
(4) "-b hf" 是运行公共LLM推理的最推荐方式，但性能较差。
(5) 在选择QAnything系统的公共Chat LLM时，应考虑更合适的PROMPT_TEMPLATE设置，以考虑不同的LLM模型。
(6) 支持使用Huggingface Transformers/vllm后端的FastChat API的公共LLM列表位于 "/path/to/QAnything/third_party/FastChat/fastchat/conversation.py" 中。

DEBUG
如果想要查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。

debug.log
用户请求处理日志
sanic_api.log
后端服务运行日志
llm_embed_rerank_tritonserver.log（单卡部署）
LLM embedding和rerank tritonserver服务启动日志
llm_tritonserver.log（多卡部署）
LLM tritonserver服务启动日志
embed_rerank_tritonserver.log（多卡部署或使用openai接口）
embedding和rerank tritonserver服务启动日志
rerank_server.log
rerank服务运行日志
ocr_server.log
OCR服务运行日志
npm_server.log
前端服务运行日志
llm_server_entrypoint.log
LLM中转服务运行日志
fastchat_logs/*.log
FastChat服务运行日志

未完，待续写

关闭服务

bash close.sh

参考资料

实战搭建网易有道的QAnything(一） 前提准备工作
实战搭建网易有道的QAnything(二） 正式下载安装
旧版 WSL 的手动安装步骤
官方QAnything使用说明
官方Question and Answer based on Anything
前沿重器[45] RAG开源项目Qanything源码阅读1-概述+服务
前沿重器[46] RAG开源项目Qanything源码阅读2-离线文件处理
QAnything 的部署，使用说明

东风光魔
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
CentOS 6.5 环境实现本地局域网搭建YUM的方法【基于FTP】
09-15
主要介绍了CentOS 6.5 环境实现本地局域网搭建YUM的方法,结合实例形式分析了CentOS基于FTP本地局域网搭建YUM的具体步骤、相关命令与操作技巧,需要的朋友可以参考下
Centos 6.5环境实现本地局域网搭建YUM的方法【基于HTTP】
09-15
主要介绍了Centos 6.5环境实现本地局域网搭建YUM的方法,较为详细的分析了CentOS6.5基于HTTP实现本地局域网搭建YUM的具体步骤、相关命令与操作注意事项,需要的朋友可以参考下
网易有道QAnything 安装部署实践（RAG）
热门推荐
lianghao118的博客
02-11 1万+
网易有道QAnything 安装部署实践，理解一个完整RAG的高级构造。
[AI]部署安装有道QanyThing
stringjava_001的博客
02-20 3576
部署安装有道Qanything
【AI】Segment-Anything本地部署
zhoulizhu的博客
11-29 1025
Segment-Anything是Meta开源的图像分割模型，顾名思义，可以分割所有东西，感觉这东西可以用于遥感影像分割，于是找来源码测试一下。项目地址：https://github.com/facebookresearch/segment-anything。
Qanything在Windows环境部署流程
最新发布
weixin_40538248的博客
05-17 1106
系统版本：Windows 10 专业版版本号：22H2。
Docker Compose介绍及部署
Axic123的博客
07-26 1438
Docker Compose 项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Docker. Compose 项目由Python 编写，调用Docker 服务提供的API来对容器进行管理。因此，只要所操作的平台支持Docker API，就可以在其上利用Compose 来进行编排管理。Docker Compose 是一个用于定义和运行多容器Docker应用程序的工具。
youdao-QAnything安装部署-GPU版
weixin_57233471的博客
04-10 1690
需要用到的应用：Docker Desktop、WSL2、Ubuntu 22.04.3直接官网下载安装对应版本即可，安装过程中没有选择步骤，安装完成需重启电脑。我这里下载完docker之后电脑里自己就有了WSL。修改docker存储路径：设置->resources->Disk image location。
Centos7部署本地局域网yum源
05-25
Centos7 部署本地局域网 yum 源 本地 yum 源仓库是公司部署大量服务器时的必要配置，因为阿里云镜像源必须要连接外网才可以使用，占用出口带宽，且有些特殊的镜像源架设在国外，使用起来很不稳定。因此，部署本地 ...
vue-cli启动本地服务局域网不能访问的原因分析
08-28
主要介绍了vue-cli启动本地服务，局域网下访问不到的原因分析,在文中还给大家介绍了vue-cli起的webpack项目 用localhost可以访问，但是切换到ip就不可以访问的原因，本文给大家介绍的非常详细，需要的朋友参考下
C#获取本地ip 获取局域网ip
11-30
在C#编程中，获取本地IP地址和局域网（LAN）IP地址是常见的网络编程需求。这通常涉及到网络接口的枚举、IP地址的解析以及操作系统提供的API调用。以下将详细介绍如何在C#中实现这些功能。 首先，我们要区分几种类型...
本地离线部署chatglm3-6b与Qanything系列模型小白教程
weixin_45712014的博客
02-02 2987
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
网易有道 QAnything 安装部署实验
weixin_60729843的博客
03-20 3973
QAnything是一款本地知识库问答系统，支持导入任意格式文件或数据库进行问答，可在断网情况下使用。用户只需简单操作即可获取准确、快速的答案。该系统具有跨语种问答、高性能生产级系统等特点，采用两阶段检索架构，提供更精准的结果。用户可根据环境选择合适的安装方式，并通过前端页面或API接口使用。对于需要离线部署的用户，系统提供了详细的操作指南。QAnything为用户提供了强大、安全、灵活的文本问答服务，可广泛应用于各种应用场景。
实战搭建网易有道的QAnything(一） 前提准备工作
morsth的博客
04-07 1722
早上地铁上刷到了关于有道的QAnything的介绍，刚好也有搭建一个知识库的想法，既然有想法那就干起来，电脑的操作系统用的win11，显卡用了两块4060。
win11环境下本地部署Segment Anything示例
gaoxiao3311的博客
07-21 1570
Segment Anything作为一种效果优秀的算法受到广泛关注。笔者今天用了两三个小时的时间根据官方教程在本地进行了部署尝试，具体而言实现了使用官方提供的模型（vit_h）分割任意图片的效果。整体比较顺利，现将过程记录如下。
一键部署，隐私无忧！有道QAnything，本地AI问答系统开源了，你下载了吗？
lythinking的博客
04-25 510
作者：Aitrainee | AI进修生。
Qanything 部署的三个拦路虎问题及相应解决方案。
育哥的博客
04-10 1266
这个问题是因为docker-compose 的版本问题，升级版本到2.23以上就可以解决。yum install docker-compose 的版本太低，需要升级版本。我只能注释掉这个配置的部分，但是又不知道这个要怎么处理。安装 nvidia-container-toolkit。改一下这里，改成100还不够，我直接加到10000才行。修改docker-compose.yml文件。由于mysql的连接数小了，需要调大，centos 自带 是1.x的。Qanything 启动时。这个报错知道是什么原因吗？
前端人员快速搭建本地服务器环境
weixin_41190571的博客
05-22 6491
此方法依赖node.js，首先在你的控制台运行下node -v。如果能够打印出node.js的版本号信息证明你的电脑安装了node.js。否则我们去下载一个Node.js 然后使用运行npm install anywhere -g来安装anywhere。 最后在控制台中cd到你的文件根目录，然后运行anywhere命令。OK，node.js已经为你搭建好了本地服务器环境了。是不是特别...
局域网部署office
10-25
局域网部署Office是指将Office软件安装在局域网内的多台计算机上，以便多个用户可以共享和使用Office应用程序和文件。 首先，为了局域网中的计算机能够互相访问和共享资源，需要设置好局域网的网络环境。可以通过路由器或交换机来连接各个计算机，并设置好IP地址和子网掩码等网络参数。 其次，需要选择一台计算机作为主机，下载并安装Office软件。安装过程中需要选择网络安装方式，并设置好共享文件夹路径。这个共享文件夹将作为所有用户访问和保存文件的位置。 然后，在其他计算机上，通过网络连接到主机上的共享文件夹，并将其映射为本地驱动器。这样，其他用户就可以像使用本地文件一样使用和编辑共享文件夹中的Office文档了。 此外，为了保证局域网中的计算机能够正常访问和使用Office软件，可以在主机上设置用户权限和密码，以及进行必要的安全设置，如防火墙和杀毒软件。 最后，对于一些高级功能，如集中管理和远程协作，可以配置Office的一些特殊功能，如共享工作簿和协同编辑等。这样，用户可以同时协同编辑同一份文档，提高工作效率和协作能力。 总的来说，局域网部署Office可以提升办公效率，方便多用户共享和使用Office文档。但需要注意设置好网络环境和安全措施，以保证数据的安全和稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值