超级会员免费看
FastChat是一个开放平台，用于基于大型语言模型的聊天机器人部署和服务。本文详细介绍了如何下载ChatGLM3模型，安装依赖，通过命令行和web服务方式加载模型，启动RESTful API server，并提供了支持新模型的方法。FastChat支持多种模型，包括ChatGLM3，并兼容OpenAI的API，允许用户通过Gradio web服务器与模型进行交互。
文章目录
FastChat介绍
FastChat是一个用于培训、服务和评估基于大型语言模型的聊天机器人的开放平台。
FastChat的核心功能包括：
1、最先进模型（如Vicuna、MT Bench）的培训和评估代码。
2、一个分布式多模型服务系统，让大模型具有web UI和与OpenAI兼容的RESTful API。
支持的模型
FastChat 支持很广范围的模型，包括 LLama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, MTP, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, xDAN-AI 等等
请参阅受支持型号的完整列表以及在此处文档添加新型号的说明。
下载chatGLM3模型
去modelscope搜索下载
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
