第二期书生·浦语大模型实战营第一天视频直播笔记

一、视频链接

书生·浦语大模型全链路开源体系

二、思维导图

三、视频笔记

视频笔记：《书生·浦语大模型全链路开源体系》

1. 引言

• 介绍《书生埔语大模型时战营》第二期课程。
• 回顾第一期课程的成功和学员收获。
• 强调大模型在通用人工智能发展中的重要性。

2. 大模型发展趋势

• 早期研究集中在专用模型上，针对特定任务设计。
• 近年来转向通用大模型，一个模型解决多种任务。
• 举例Chat GPT和GPT 4V，展示跨模态任务处理能力。
• 通用大模型成为学术和工业界的热点。

3. 书生埔语大模型开源历程

• 从2023年6月首次发布，持续快速迭代。
• 7月推出千亿参数大模型，支持8K语境和26种语言。
• 免费商用的7B开源模型和全链条工具体系发布。
• 8月发布书生万卷1.0预训练语调库，升级对话模型。
• 9月发布中等尺寸开源模型，升级开源工具链。
• 2024年1月17号InternLM2正式开源，性能显著提升。

4. 书生埔语2.0模型介绍

• 提供不同尺寸和类型的模型，满足不同需求。
• 7B轻量级模型适合成本敏感的应用。
• 20B中量级模型支持复杂场景。
• 模型包括InternLM2-Base, InternLM2, InternLM2-Chat。
• InternLM2-Base为基础模型，具备高质量和强可塑性。
• InternLM2-Chat为对话优化模型，具备指令遵循和工具调用能力。

5. InternLM2模型特性

• 回归语言模型本质，通过高质量预料提升建模能力。
• 新一代数据清洗过滤技术，多维度数据价值评估。
• 强化模型在世界知识、数理、代码等核心能力。
• 展示InternLM1与InternLM2在高质量验证语料上的性能对比。
• 介绍InternLM2在推理、数学代码等方面的显著提升。

6. 模型应用示例

• 作为AI助手，规划三天行程。
• 进行充满人文关怀的对话。
• 创作《流浪地球3》剧本。
• 展示模型的计算能力，包括四则运算和复杂数学问题求解。
• 通过代码解释器提升数学成绩。

7. 从模型到应用的流程

• 介绍模型选型、业务场景微调、智能体构建、评测、部署和上线的过程。
• 强调每个步骤的复杂性和所需的开发工作。

8. 全链条工具体系介绍

• 书生浦语提供从数据到预训练、微调、部署、评测、应用的全链条工具。
• 数据方面有书生万卷数据集。
• 预训练框架InternEvo支持大规模训练。
• 微调框架XTuner适配多种生态和硬件。
• 评测体系OpenCompass 2.0提供全面评测。
• 部署解决方案LMDeploy优化模型上线应用。
• 智能体框架Lagent和工具箱AgentLego支持多模态智能体开发。

9. 结语

• 总结书生浦语全链条开放体系的贡献。
• 强调开源工具链对创新的赋能作用。
• 感谢参与者并对未来的创新表示期待。