[大模型]QAnything的docker安装方法

最新推荐文章于 2024-07-18 09:19:01 发布
最新推荐文章于 2024-07-18 09:19:01 发布
阅读量1.8k 收藏 24
点赞数 8
分类专栏： 大模型 文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FL1623863129/article/details/138204126
版权

什么是QAnything？

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)，更多格式，敬请期待...

特点

  • 数据安全，支持全程拔网线安装使用。
  • 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
  • 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
  • 高性能生产级系统，可直接部署企业应用。
  • 易用性，无需繁琐的配置，一键安装部署，拿来就用。
  • 支持选择多知识库问答。

架构

为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，从而实现：

一阶段检索（embedding）

模型名称RetrievalSTSPairClassificationClassificationRerankingClustering平均
bge-base-en-v1.537.1455.0675.4559.7343.0537.7447.20
bge-base-zh-v1.547.6063.7277.4063.3854.8532.5653.60
bge-large-en-v1.537.1554.0975.0059.2442.6837.3246.82
bge-large-zh-v1.547.5464.7379.1464.1955.8833.2654.21
jina-embeddings-v2-base-en31.5854.2874.8458.4241.1634.6744.29
m3e-base46.2963.9371.8464.0852.3837.8453.54
m3e-large34.8559.7467.6960.0748.9931.6246.78
bce-embedding-base_v157.6065.7374.9669.0057.2938.9559.43

二阶段检索（rerank）

模型名称Reranking平均
bge-reranker-base57.7857.78
bge-reranker-large59.6959.69
bce-reranker-base_v160.0660.06

基于LlamaIndex的RAG评测（embedding and rerank）

NOTE:

  • 在WithoutReranker列中，我们的bce-embedding-base_v1模型优于所有其他embedding模型。
  • 在固定embedding模型的情况下，我们的bce-reranker-base_v1模型达到了最佳表现。
  • bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
  • 如果想单独使用embedding和rerank请参阅：BCEmbedding

LLM

开源版本QAnything的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。 如果需要商用请遵循千问的license，具体请参阅：通义千问

🚀 最近更新

  • 2024-04-03: 支持在纯Python环境中安装；支持混合检索。 - 详见👉 v1.3.0
  • 2024-01-29: 支持自定义大模型，包括OpenAI API和其他开源大模型，GPU需求最低降至GTX 1050Ti，极大提升部署，调试等方面的用户体验 - 详见👉 v1.2.0
  • 2024-01-23: 默认开启rerank，修复在windows上启动时存在的各类问题 - 详见👉 v1.1.1
  • 2024-01-18: 支持一键启动，支持windows部署，提升pdf，xlsx，html解析效果 - 详见👉 v1.1.0

开始之前

在GitHub上加星，即可立即收到新版本的通知！ 

开始

安装方式

我们提供三种安装方式：

不同安装方式对应的特性如下表:

特性纯python环境安装docker安装断网安装
生产环境❌✅✅
断网安装❌❌✅
支持Mac✅❌❌
支持Linux✅✅✅
支持windows WSL✅✅✅
支持纯CPU✅❌❌
支持混合检索(BM25+embedding)❌✅✅

纯python环境安装

不想用docker环境安装的，我们提供了纯Python版本安装教程，纯python环境的安装仅作为demo体验，不建议生产环境部署。

  • 支持纯CPU安装运行(检索部分跑在CPU上，大模型调用在线API)
  • 支持Mac安装运行

docker环境安装

必要条件

For Linux

SystemRequired itemMinimum RequirementNote
LinuxNVIDIA GPU Memory>= 4GB (use OpenAI API)最低: GTX 1050Ti（use OpenAI API）
推荐: RTX 3090
NVIDIA Driver Version>= 525.105.17
Docker version>= 20.10.5Docker install
docker compose version>= 2.23.3docker compose install
git-lfsgit-lfs install
For Windows with WSL Ubuntu子系统

SystemRequired itemMinimum RequirementNote
Windows with WSL Ubuntu子系统NVIDIA GPU Memory>= 4GB (use OpenAI API)最低: GTX 1050Ti（use OpenAI API）
推荐: RTX 3090
GEFORCE EXPERIENCE>= 546.33GEFORCE EXPERIENCE download
Docker Desktop>= 4.26.1（131620）Docker Desktop for Windows
git-lfsgit-lfs install

step1: 下载本项目

git clone https://github.com/netease-youdao/QAnything.git

step2: 进入项目根目录执行启动脚本

cd QAnything
bash run.sh  # 默认在0号GPU上启动

（注意）如果自动下载失败，您可以从以下三个地址之一手动下载模型。

（可选）指定单GPU启动

（可选）指定单GPU启动 - 推荐 Windows10/Windows11 WSL2 用户使用此方式运行 QAnything

（可选）指定单GPU启动 - 推荐 GPU Compute Capability >= 8.6 && VRAM >= 24GB 使用此方式运行 QAnything

（可选）指定多GPU启动

step3: 开始体验

前端页面

运行成功后，即可在浏览器输入以下地址进行体验。

  • 前端地址: http://your_host:8777/qanything/
API

如果想要访问API接口，请参考下面的地址:

  • API address: http://your_host:8777/api/
  • For detailed API documentation, please refer to QAnything API 文档
DEBUG

如果想要查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。

  • debug.log
    • 用户请求处理日志
  • sanic_api.log
    • 后端服务运行日志
  • llm_embed_rerank_tritonserver.log（单卡部署）
    • LLM embedding和rerank tritonserver服务启动日志
  • llm_tritonserver.log（多卡部署）
    • LLM tritonserver服务启动日志
  • embed_rerank_tritonserver.log（多卡部署或使用openai接口）
    • embedding和rerank tritonserver服务启动日志
  • rerank_server.log
    • rerank服务运行日志
  • ocr_server.log
    • OCR服务运行日志
  • npm_server.log
    • 前端服务运行日志
  • llm_server_entrypoint.log
    • LLM中转服务运行日志
  • fastchat_logs/*.log
    • FastChat服务运行日志

关闭服务

bash close.sh

断网安装

windows断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像
docker pull quay.io/coreos/etcd:v3.5.5
docker pull minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull milvusdb/milvus:v2.3.4
docker pull mysql:latest
docker pull freeren/qanything-win:v1.2.x  # 从 [https://github.com/netease-youdao/QAnything/blob/master/docker-compose-windows.yaml#L103] 中获取最新镜像版本号。

# 打包镜像
docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything-win:v1.2.1 -o qanything_offline.tar

# 下载QAnything代码
wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip

# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上
cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine

# 在断网机器上加载镜像
docker load -i qanything_offline.tar

# 解压代码，运行
unzip QAnything-master.zip
cd QAnything-master
bash run.sh

Linux断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像
docker pull quay.io/coreos/etcd:v3.5.5
docker pull minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull milvusdb/milvus:v2.3.4
docker pull mysql:latest
docker pull freeren/qanything:v1.2.x  # 从 [https://github.com/netease-youdao/qanything/blob/master/docker-compose-linux.yaml#L104] 中获取最新镜像版本号。

# 打包镜像
docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything:v1.2.1 -o qanything_offline.tar

# 下载QAnything代码
wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip

# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上
cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine

# 在断网机器上加载镜像
docker load -i qanything_offline.tar

# 解压代码，运行
unzip QAnything-master.zip
cd QAnything-master
bash run.sh

常见问题

常见问题

FL1623863129
关注
专栏目录
最新的Windows docker安装方法
金鳞踏雨
03-01 2462
在Windwos上面安装Docker，2023最新版教程，亲测有效！！！
[AI]部署安装有道QanyThing
stringjava_001的博客
02-20 3866
部署安装有道Qanything
Docker环境安装anythingllm
weixin_37536020的博客
06-25 1281
Docker环境安装anythingllm。
本地部署QAnything大模型Python版本
最新发布
G在左,M在右
07-18 323
本次使用Windwos WSL 本地部署QAnything大模型，本文章主要适合无适合显卡并且想体验QAnything的用户。
Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
消极的人永远是对的，积极的人选择勇往直前
07-05 457
【代码】Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
私有化部署网易云-qanything教程
m0_48159647的博客
04-15 2211
官方的教程虽然没有错误, 但是有点混乱, 而且一些细节隐藏在了更深的文档中, 导致部署过程中遇到不少问题, 这里是一步步的详细教程
网易有道QAnything 安装部署实践（RAG）
lianghao118的博客
02-11 1万+
网易有道QAnything 安装部署实践，理解一个完整RAG的高级构造。
网易有道 QAnything 安装部署实验
weixin_60729843的博客
03-20 4827
QAnything是一款本地知识库问答系统，支持导入任意格式文件或数据库进行问答，可在断网情况下使用。用户只需简单操作即可获取准确、快速的答案。该系统具有跨语种问答、高性能生产级系统等特点，采用两阶段检索架构，提供更精准的结果。用户可根据环境选择合适的安装方式，并通过前端页面或API接口使用。对于需要离线部署的用户，系统提供了详细的操作指南。QAnything为用户提供了强大、安全、灵活的文本问答服务，可广泛应用于各种应用场景。
开源项目QAnything：全能型本地知识库问答系统
人工智能讲师分享前沿技术
06-14 2219
在当今信息爆炸的时代，如何高效地管理和检索大量数据成为了一个重要课题。网易有道推出的开源项目QAnything，正是为了解决这一问题而生。QAnything是一个本地知识库问答系统，支持多种文件格式和数据库，允许用户在离线状态下进行安装和使用。用户只需将任何格式的本地存储文件放入系统，即可获得准确、快速且可靠的答案。
[大模型]QAnything纯Python环境安装教程
FL1623863129的博客
04-26 920
在scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh中补充api-key等参数。在scripts/run_for_openai_api_with_gpu_in_Linux_or_WSL.sh中补充api-key等参数。在scripts/run_for_openai_api_in_M1_mac.sh中补充api-key等参数。或者打开http://{主机ip地址}:8777/qanything/注意末尾的斜杠不可省略，否则会出现404错误。
【RAG检索增强生成】有道QAnything深度解析与实践
寻道码路，探索编程之路的无限可能。
07-13 1711
QAnything是由有道开源的基于RAG技术的本地知识库问答系统。它能够处理包括PDF、Word、Excel、图片等在内的多种文件格式，为用户提供智能化的信息获取体验。
[算法前沿]--000-大模型LLaMA在docker环境搭建以及运行教程（含模型压缩）
学-> 思->用
03-15 5547
未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行.
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
surfirst的博客
02-22 1万+
Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。
Docker安装MinIO教程
猿小白的博客
05-20 2393
本章教程，主要介绍一下，如何在Linux用Docker安装MinIO。MinIO是一个高性能、分布式对象存储系统，支持S3 API，适用于云原生环境。MinIO可以在标准硬件上运行，并且具有低延迟、高吞吐量、高可用性和可扩展性等优势。MinIO使用Erasure Code技术实现数据冗余和恢复，以确保数据的安全性和可靠性。MinIO还支持多租户、数据加密、访问控制等功能，可以满足企业级应用的需求。
Docker（十三）：离线安装docker社区版（docker-18.06.3-ce）
热门推荐
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
03-18 2万+
🟢 Docker（十三）：离线安装docker社区版（docker-18.06.3-ce）
每日一看大模型新闻（2024.1.16）网易有道：自研RAG引擎QAnything开放下载；开源大模型XVERSE-Long-256K，支持输入25万汉字；对标OpenAI GPT-4，MiniMax
liuxiuxiu3的博客
03-17 1376
Stability AI发布了30亿参数的代码模型Stable Code 3B，这是此前发布的Stable Code Alpha 3B模型的后续版本，专为代码补全而设计。据介绍，PhotoMaker是一种高效的个性化文本到图像生成方法，它将任意数量的输入ID图像编码为堆栈ID嵌入，以保存ID信息。这意味着GLM系列模型的全家桶能力实现了工业化，开发者和用户可以更轻松地使用GLM-4模型，不再为提示词而担心。同时，智谱AI宣布GLMs个性化智能体定制能力同时上线，基于GLM-4模型，只要登录智谱清言，
本地（局域网）部署有道QAnything问答的笔记（未完待续写）
aqdfxx的博客
05-28 1787
不要下载最新版4.30，我的老win10就是低于19044，所以开头就强调版本号，于是我就下载了2.4版。windows 虚拟机监控程序平台不开启的话可能导致后面docker desktop启动不起来。到这一步，wsl应该就可以用了，顺便记录一下常用的wsl命令。
QAnything
编码时光
04-02 1768
一、关于 QAnything 架构 二、我的在线试用 三、使用 安装 启动 体验 前端页面 API 关闭服务
docker 安装方法
08-17
Docker的安装方法如下： 1. 首先，确保你的操作系统是64位的，并且支持虚拟化技术。 2. 在Linux系统上，可以使用以下命令安装Docker： ```shell curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh ``` 这个命令会自动下载并安装Docker。 3. 在Windows系统上，你可以从Docker官方网站上下载安装程序，并按照提示进行安装。 4. 安装完成后，你可以使用以下命令验证Docker是否正确安装： ```shell docker version ``` 如果出现版本号等相关信息，则说明Docker已经成功安装。 请注意，对于不同的操作系统版本和发行版，安装步骤可能会有所不同。在安装Docker之前，建议查阅官方文档以获取最准确的安装指南。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FL1623863129

你的打赏是我写文章最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值