Fastchat：基于fastapi构建大模型加载服务

已于 2023-12-14 11:40:18 修改
阅读量8.9k 收藏 51
点赞数 10
文章标签： fastapi langchain fastchat 百川大模型 LLM
于 2023-09-08 14:20:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq128252/article/details/132759107
版权

Fastchat：基于fastapi构建大模型加载服务

Fastapi LLM支持

FastChat 服务架构

请添加图片描述

安装

方法一：pip

pip3 install "fschat[model_worker,webui]"

方法二：源文件

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

Mac 上运行：

brew install rust cmake

从源文件安装

pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e ".[model_worker,webui]"

加载大模型推理

1.命令行

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.3

请添加图片描述

关键参数汇总:

参数说明
–model-path模型路径,可以是本地文件夹或HuggingFace的repo ID
–revisionHuggingFace Hub模型修订版本标识
–device设备类型,可选择cpu/cuda/mps/xpu
–gpus指定单个或多个GPU,如1或0,2
–num-gpusGPU数量
–max-gpu-memory每个GPU用于存储模型权重的最大内存,使用字符串表示如’13Gib’
–load-8bit使用8位量化
–cpu-offloading仅用于8位量化:将超出GPU容量的权重卸载到CPU
–gptq-ckptGPTQ检查点路径,用于GPTQ量化
–gptq-wbitsGPTQ量化比特数,可选择2/3/4/8/16
–gptq-groupsizeGPTQ量化分组大小,默认为整行
–gptq-act-order是否应用GPTQ激活顺序启发式方法
–awq-ckptAWQ检查点路径,用于AWQ量化
–awq-wbitsAWQ量化比特数,可选择4/16
–awq-groupsizeAWQ量化分组大小,默认为整行
–conv-template对话提示模板
–conv-system-msg对话系统消息
–temperature温度参数
–repetition_penalty重复惩罚参数
–max-new-tokens最大新生成词元数量
–no-history不保留历史记录
–style显示样式,可选择simple/rich/programmatic
–multiline启用多行输入
–mouse启用鼠标支持光标定位(仅限rich样式)
–judge-sent-end是否启用识别句子结束的逻辑纠正
–debug打印调试信息(如prompt)

2.Web

要使用 Web UI 提供服务，您需要三个主要组件：

  1. 与用户交互的 Web 服务器

  2. 托管一个或多个模型的模型工作人员

  3. 协调网络服务器和模型工作人员的控制器。

启动控制器
python3 -m fastchat.serve.controller

请添加图片描述

启动模型工作
python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.3

等到进程完成加载模型，您会看到“Uvicorn running on …”。模型工作者将自己注册到控制器。

请添加图片描述

测试模型是否注册到控制器，成功会有一个简短的输出
请添加图片描述

启动 Gradio Web 服务器
python3 -m fastchat.serve.gradio_web_server

这是用户将与之交互的用户界面。

请添加图片描述

打开 http://0.0.0.0:7860 ，可以看到交互界面

请添加图片描述

注册多个模型
  • 您可以将多个模型工作人员注册到单个控制器，该控制器可用于为具有更高吞吐量的单个模型提供服务或同时为多个模型提供服务。执行此操作时，请为不同的模型工作人员分配不同的 GPU 和端口。
# worker 0
CUDA_VISIBLE_DEVICES=0 python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.3 --controller http://localhost:21001 --port 31000 --worker http://localhost:31000
# worker 1
CUDA_VISIBLE_DEVICES=1 python3 -m fastchat.serve.model_worker --model-path lmsys/fastchat-t5-3b-v1.0 --controller http://localhost:21001 --port 31001 --worker http://localhost:31001
  • 您还可以启动多选项卡 gradio 服务器，其中包括 Chatbot Arena 选项卡。
python3 -m fastchat.serve.gradio_web_server_multi

3.兼容 OpenAI 的 RESTful API

RESTful API 服务器

  1. 启动控制器
python3 -m fastchat.serve.controller
  1. 启动模型加载
python3 -m fastchat.serve.model_worker --model-path /mnt/code/LLM_Service/model/Baichuan-13b-Chat 
#多卡运行
python3 -m fastchat.serve.model_worker --model-path my_model_path --num-gpus 4 --max-gpu-memory "20GiB"
# CUDA_VISIBLE_DEVICES=0,1,2,3 --gpus "0,1,2,3"这几个参数多卡没有效果，必须加--max-gpu-memory
  1. 启动 RESTful API 服务器
python3 -m fastchat.serve.openai_api_server --host localhost --port 8000

  • 安装openai-python：
pip install --upgrade openai

通过ChatOpenAI接口调用模型：

from langchain.chat_models import ChatOpenAI
from langchain import LLMChain
from langchain.prompts.chat import (
    ChatPromptTemplate,
    HumanMessagePromptTemplate,
)

api_base_url = "http://192.168.175.6:8000/v1" 
api_key= "EMPTY"
LLM_MODEL = "Baichuan-13b-Chat"
model = ChatOpenAI(
    streaming=True,
    verbose=True,
    # callbacks=[callback],
    openai_api_key=api_key,
    openai_api_base=api_base_url,
    model_name=LLM_MODEL
)


human_prompt = "{input}"
human_message_template = HumanMessagePromptTemplate.from_template(human_prompt)

chat_prompt = ChatPromptTemplate.from_messages(
    [("human", "我们来玩成语接龙，我先来，生龙活虎"),
     ("ai", "虎头虎脑"),
     ("human", "{input}")])


chain = LLMChain(prompt=chat_prompt, llm=model, verbose=True)
print(chain({"input": "恼羞成怒"}))

请添加图片描述

如果您想在同一台机器上、同一进程中运行多个模型，可以将model_worker上述步骤替换为多模型变体：

python3 -m fastchat.serve.multi_model_worker \
    --model-path lmsys/vicuna-7b-v1.3 \
    --model-names vicuna-7b-v1.3 \
    --model-path lmsys/longchat-7b-16k \
    --model-names longchat-7b-16k

本地GPU微调

安装依赖

pip3 install -e ".[train]"

微调

您可以使用以下命令使用 4 x A100 (40GB) 训练 Vicuna-7B。--model_name_or_path使用 LLaMA 权重的实际路径和--data_path数据的实际路径进行更新。

torchrun --nproc_per_node=4 --master_port=20001 fastchat/train/train_mem.py \
    --model_name_or_path ~/model_weights/llama-7b  \
    --data_path data/dummy_conversation.json \
    --bf16 True \
    --output_dir output_vicuna \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps 16 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 1200 \
    --save_total_limit 10 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1 \
    --fsdp "full_shard auto_wrap" \
    --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
    --tf32 True \
    --model_max_length 2048 \
    --gradient_checkpointing True \
    --lazy_preprocess True
江小皮不皮
关注
FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试
weixin_42357472的博客
09-23 1330
参考： https://github.com/lm-sys/FastChat https://blog.csdn.net/qq128252/article/details/132759107 web使用 1）启动控制器 2）启动模型工作 3）web服务启动 打开网址查看： 按照报错信息需要更改： /site-packages/fastchat/serve/inference.py增加trust_remote_code=True
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 1104
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
基于FastChat构建的OpenAPI访问有问题
ltshan139的专栏
03-05 1565
基于FastChat构建的OpenAPI访问有问题
大模型实操与API调用 | 四十、使用 FastChat 部署 LLM
最新发布
weixin_40594972的博客
08-21 52
FastChat 是一个开源的聊天机器人平台，它支持使用各种大型语言模型进行聊天。以下是基于 FastChat 在本地部署大型语言模型的一般步骤：步骤 1: 环境准备系统要求操作系统：Linux 或 macOS（Windows 系统可能需要额外的配置）Python：版本 3.8 或更高GPU（可选）：NVIDIA GPU，...
fastapi接口内的启动进程导致重复加载
m0_60499709的博客
04-24 381
fastapi接口内的启动进程导致重复加载。
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
FastChat
studyeboy的专栏
09-11 1958
Fast Chat是一个用于训练/部署和评估基于大型语言模型的聊天机器人的开发平台。
快速部署：使用FastAPI构建大型语言模型——LLAMA2实战
xuezhangdaima的博客
06-11 77
【代码】快速部署：使用FastAPI构建大型语言模型——LLAMA2实战。
Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT
engchina的专栏
06-02 2070
Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT
全面解析 LLM 推理性能的关键因素
安静的软件工程师
02-12 3563
全面解析 LLM 推理性能的关键因素
基于开源大模型快速构建本地知识库应用
fzq0625的博客
06-16 143
作为新一代人工智能产业的核心动力，AI大模型广泛应用于各行各业，打开了迈向通用人工智能的大门。本文通过大模型相关技术背景、构建需求、实现原理、模型选型及工程实践等方面介绍了如何基于开源大模型快速构建本地知识库应用。通过分析大模型应用的存在的问题，提出并详细描述了知识库构建思路及RAG技术路线应用的解决方法，最后，基于LangChain-Chatchat工程实现，为快速构建本地知识库应用提供了一种有效的解决方案。
FastChat-开源
05-01
FastChat是本地网络中的一种小型且易于使用的聊天程序。 它与udp协议一起使用。
NLP（五十九）使用FastChat部署百川大模型
山阴少年
07-11 9885
本文将会介绍如何使用FastChat来部署国产大模型——百川模型。
【AI提升】如何使用大模型：本机离线和FastAPI服务调用
旭日跑马踏云飞的专栏
07-02 1150
大模型本身提供的功能，类似于windows中的一个exe小工具，我们可以本级离线调用然后完成具体的功能，但是别的机器需要访问这个exe是不可行的。常见的做法就是用一个web容器封装起来，提供一个http接口，然后在后端调用这个exe来实现需求。同理我们需要一个web容器把大模型封装起来，然后通过API来提供AI服务。这里通过FastAPI来实现AI的API服务化。
FastChat-Vicuna开放，媲美ChatGPT的90%能力——从下载到安装、部署
热门推荐
蒋含竹的博客
04-08 3万+
最近ChatGPT非常火，引爆了整个商业市场以及NLP学术界，但是ChatGPT很多东西都不开放，你也没法个人部署、研究于是很多大语言模型横空出世，在开放的大语言模型中，最近我认为效果很不错的是FastChat上的Vicuna，基于LLaMA做了二次调参训练，据官方称能达到ChatGPT的90%的能力。（具体能否达到这个值，可以直接去他们的Demo上试试）相关链接GitHub地址:Demo地址:博客与相关说明:注意安装教程时间为2023年4月8日2023年4月21日。
FastChat 框架在 AutoDL 平台上全量微调和 PEFT 方式微调 LLMs
geeksoarsky的博客
09-21 2075
根据 FastChat 仓库[微调文档]，(https://github.com/lm-sys/FastChat/blob/main/docs/training.md)，我们可以使用使用 ZeRO2 使用 QLoRA 来训练。，可能要配置下 Base 模型，Batch_Size, Epoch 等超参数，可以开启 Zero 2 或者 Zero 3，脚本中使用了 Zero 2, 如果想使用 Zero 3 将 deepspeed 超参数 改为。克隆我的微调仓库，本仓库基于 FastChat 框架，对。
基于FastApi框架的后端服务实践案例
hhue2007的专栏
06-29 250
利用python在做后端数据处理过程中，发现从响应性能、框架灵活性和安全可靠性等角度来综合考虑，总体推荐基于FastApi框架来编写不同类型的后端服务，因此记录并分享给大家。本文主要采用FastApi框架实现http web服务，支持储层研究方面的趋势分析、倾向计算等专业算法实现，实现了如何跨域访问、如何设置白名单、如何设置静态资源，同时包括了常见的get/post请求的处理、单文件/多文件上传解析，并且结合了swagger，实现了服务端接口文档的自动编写和测试发布说明等。
用通俗易懂的方式讲解大模型：使用 FastChat 部署 LLM 的体验太爽了
2301_78285120的博客
12-30 1万+
FastChat[2]是一个用于训练、服务和评估基于大型语言模型的聊天机器人的开放平台。其核心功能包括：最先进 LLM 模型的权重、训练代码和评估代码。带有 WebUI 和与 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。其实 FastChat 的功能非常强大，今天介绍的部署功能只是冰山一角，如果你对 FastChat 感兴趣的话，可以去官方仓库查看更多的信息。今天的文章就到这里，如果在部署的过程中遇到问题，欢迎在评论区讨论。
【FastChat】用于训练、服务和评估大型语言模型的开放平台
wuli_xin的博客
03-04 623
🚀 根据 GPT-4 的评估，Vicuna 达到了 ChatGPT/Bard 90%* 的质量，同时显着优于其他基线。用于训练、服务和评估大型语言模型的开放平台。发布 Vicuna 和 Chatbot Arena 的存储库。Chatbot Arena 从并列的 LLM 比赛中收集了超过 20 万个人投票，编制了。FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。隆重推出 Vicuna，一款令人印象深刻的开源聊天机器人 GPT-4！FastChat 为。
fastchat 文本嵌入模型
09-18
FastChat是一个文本嵌入模型，它可以用于文本相似度计算和文本匹配任务。FastChat通过学习将文本映射到低维向量空间中的嵌入表示，从而捕捉文本之间的语义信息。 FastChat模型主要由两个组成部分构成：句子嵌入的编码器和相似度计算的度量方法。 首先，FastChat使用编码器将句子嵌入到低维向量空间中。编码器通常是基于深度学习的模型，如卷积神经网络（CNN）或循环神经网络（RNN）。编码器网络将输入文本进行特征提取，并将其转换为固定长度的向量表示。这个向量表示能够保留文本的语义信息，并能够被用来计算文本之间的相似度。 其次，FastChat采用一种度量方法来计算文本之间的相似度。一种常见的度量方法是余弦相似度。余弦相似度度量了两个向量之间的夹角，夹角越小，表示两个向量越相似。因此，通过计算两个文本向量的余弦相似度，就可以得到它们之间的相似度分数。 FastChat的优势在于它能够快速且准确地计算文本之间的相似度。由于FastChat使用了低维的向量表示，计算相似度的复杂度相对较低。这使得FastChat在实际应用中具有高效性和实用性。 总而言之，FastChat是一个重要的文本嵌入模型，它通过将文本转换为低维向量表示，并通过度量方法计算文本相似度。这个模型在很多自然语言处理任务中都有广泛的应用，如文本匹配、问答系统、推荐系统等。它为我们提供了一种有效的方式来捕捉和比较文本之间的语义信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江小皮不皮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值