【书生·浦语实战营】体系介绍

从大模型到应用的路径

开放体系

内容

• 数据：书生·万卷
• 预训练：interLM-Train
• 微调：XTuner，全参数、低成本微调
• 部署：LMDeploy
• 评测：OpenCompass
• 应用：Lagent：智能体搭建；AgentLego：给大模型提供工具集合

万卷

文本、视频、图像数据，标注工具。同80TB

预训练

支持8卡到千卡。支持HuggingFace

微调

Xtuner框架，多种生态和硬件（NVIDIA20系以上，8GB可微调7B模型）

部署

挑战：参数多，缓存要求大；请求数不固定，token逐个生成；模型结构简单
LMDeploy

智能体

LLM+Action Executor+Planning & Action
Lagent：支持多种类型：ReAct、ReWoo、AutoGPT。支持计算器、多模态、文生图、代码解释器等
AgentLego：