FastChat 安装和配置指南

FastChat 安装和配置指南

FastChat An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena. 项目地址: https://gitcode.com/gh_mirrors/fa/FastChat

1. 项目基础介绍和主要编程语言

项目基础介绍

FastChat 是一个开源平台，专门用于训练、部署和评估基于大型语言模型（LLM）的聊天机器人。它支持多种先进的模型，如 Vicuna 和 MT-Bench，并提供了一个分布式多模型服务系统，具有 Web UI 和 OpenAI 兼容的 RESTful API。

主要编程语言

FastChat 主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

关键技术和框架

• Python: 主要编程语言。
• PyTorch: 深度学习框架，用于模型的训练和推理。
• Transformers: Hugging Face 提供的库，用于加载和使用预训练的语言模型。
• Flask/FastAPI: 用于构建 Web 服务和 API。
• Docker: 用于容器化部署。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 安装 Python: 确保你的系统上安装了 Python 3.7 或更高版本。你可以通过以下命令检查 Python 版本：

   python3 --version
   

2. 安装 Git: 用于克隆项目仓库。你可以通过以下命令检查 Git 是否已安装：

   git --version
   

3. 安装依赖工具: 根据你的操作系统，可能需要安装一些额外的工具，如 cmake 和 rust。

详细安装步骤

方法一：使用 pip 安装

1. 安装 FastChat:

   pip3 install "fschat[model_worker,webui]"
   

方法二：从源代码安装

1. 克隆项目仓库:

   git clone https://github.com/lm-sys/FastChat.git
   cd FastChat
   

2. 安装依赖:
   • 如果你在 Mac 上运行，首先安装 rust 和 cmake：

     brew install rust cmake
     

   • 安装 FastChat 包：

     pip3 install --upgrade pip  # 启用 PEP 660 支持
     pip3 install -e ".[model_worker,webui]"
     

配置和启动

1. 启动模型服务:
   • 使用命令行界面启动模型服务：

     python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5
     

   • 你也可以通过 Web UI 启动服务：

     python3 -m fastchat.serve.web_ui
     

其他配置选项

• 多 GPU 支持: 如果你有多块 GPU，可以使用以下命令启动多 GPU 模式：

  python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2
  

• CPU 模式: 如果你没有 GPU，可以使用 CPU 模式：

  python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu
  

通过以上步骤，你应该能够成功安装和配置 FastChat，并开始使用它来训练、部署和评估你的聊天机器人模型。

FastChat An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena. 项目地址: https://gitcode.com/gh_mirrors/fa/FastChat