FastChat构建API

 构建conda环境

【Conda】超详细的linux-conda环境安装教程_linux安装conda-CSDN博客

FastChat是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台

• 最先进模型（例如，Vicuna、MT-Bench）的训练和评估代码。
• 具有 Web UI 和兼容 OpenAI 的 RESTful API 的分布式多模型服务系统。

支持以下大模型：FastChat/docs/model_support.md at main · lm-sys/FastChat · GitHub

本任务记录如何在docker环境下，使用FastChat为LLM构建与OpenAI兼容的RESTful API

docker的基本使用方法：

# 查看镜像
docker image ls

Docker 启动一个名为 img1 的