QAnything纯Python环境安装流程

QAnything纯Python环境安装流程

在本指南中，我们将详细介绍如何在不同操作系统上安装QAnything工具的纯Python环境。QAnything是一个功能强大的工具，它提供了多种模型和API的支持，使得自然语言处理任务变得更加简单。本文将逐步介绍安装过程，并提供一些安装细节，以确保顺利完成安装。

环境要求

在开始安装之前，请确保系统满足以下要求：

• Python 3.10+（建议使用Anaconda3管理Python环境）
• Linux：glibc 2.28+和Cuda 12.0+（如果使用GPU）
• Windows：WSL与Ubuntu 20.04+和GEFORCE EXPERIENCE 535.104+（如果使用GPU）
• MacOS：M1/M2/M3 Mac与Xcode 15.0+

安装步骤

1. 创建Python虚拟环境

为了避免潜在的冲突，我们建议在干净的Python虚拟环境中安装QAnything。你可以使用Anaconda3来管理Python环境。运行以下命令：

conda create -n qanything-python python=3.10
conda activate qanything-python

在这一步中，我们创建了一个名为qanything-python的Python虚拟环境，并激活了该环境。

2. 安装QAnything

接下来，我们将从GitHub仓库中克隆QAnything的源代码，并进行安装。执行以下命令：

git clone -b qanything-python-v1.3.1 https://github.com/netease-youdao/QAnything.git
cd QAnything
pip install -e .

通过以上命令，我们从指定的分支克隆了QAnything的源代码，并使用pip进行了安装。这将确保我们安装的是最新版本。

3. 运行不同规模的模型

根据你的需求和系统配置，你可以选择运行不同规模的模型。以下是一些常用的运行命令：

• 在Windows WSL或Linux环境下运行3B大模型（MiniChat-2-3B）要求显存>=10GB：

bash scripts/run_for_3B_in_Linux_or_WSL.sh

• 在Windows WSL或Linux环境下运行7B大模型（自研Qwen-7B-QAnything）要求显存>=24GB：

bash scripts/run_for_7B_in_Linux_or_WSL.sh

• 在Windows WSL或Linux环境下运行OpenAI API，仅使用CPU：

bash scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh

• 在Windows WSL或Linux环境下运行OpenAI API，请在对应目录配置openai的key，不然无法运行，使用GPU：

bash scripts/run_for_openai_api_with_gpu_in_Linux_or_WSL.sh

• 在M1Mac环境下使用OpenAI API：

bash scripts/run_for_openai_api_in_M1_mac.sh

• 在M1Mac环境下使用3B LLM（MiniChat-2-3B-INT8-GGUF）：

bash scripts/run_for_3B_in_M1_mac.sh

4. 访问前端页面

最后，我们可以通过浏览器访问QAnything的UI界面。打开浏览器，并输入以下地址：

• http://0.0.0.0:8777/qanything/（或者使用主机IP替换0.0.0.0）

请注意，地址末尾的斜杠不可省略，否则可能导致404错误。

通过本指南，你已经了解了如何在不同操作系统上安装QAnything工具的纯Python环境，如果在启动时候报错，可以根据日志装对应的驱动即可；