浦语大模型全链路开源体系 第一课

H 书生.浦语大模型全链路开源体系 第一课笔记

授课老师

陈恺

书生.浦语大模型开源体系-介绍

书生.浦语大模型全链路开源体系在模型上提供轻，中和重量级三类，对应的参数量是7B，20B，123B。

数据

书生万卷 2TB数据，覆盖多种模态与任务。包含了大量文档数据、2200 多万图像文本数据、1000 多个视频数据。能够支持从语言模型到多模态模型的的训练。同时，也可以应用其数据预训练自己的大模型。

预训练

InternLM-Train 并行训练，极致优化，速度达到3600tokens/sec/gpu

微调

XTuner 支持全参数微调、支持LoRA等低成本微调

部署

LMDeploy 全链路部署

评测

OpenCompass 全方位评测、性能可复现80套评测集，40万道题目

应用

Lagent AgentLego 支持多种智能体，支持代码解释器等多种工具

增量续训

使用场景：让基座模型学习到一些新知识，如某个垂类领域知识训练数据：文章、书籍、代码等

有监督微调

使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识训练数据：高质量的对话、问答数据

大模型的局限性

最新信息和知识的获取
回复的可靠性
数学计算
工具使用和交互