InternLM系列课程一：书生·浦语大模型全链路开源体系

InternLM系列课程一：书生·浦语大模型全链路开源体系

---

前言

书生·浦语大模型全链路开源体系 主要介绍了 ① InternLM2模型的发展、类型、 亮点； ② 书生·浦语全链条开源体系，包含数据、预训练、微调、部署、评测、应用 两个部分。

一、 internLM2介绍

时间维度的发展历程如下图所示：

InternLM2 权重上有 7B、20B 两个类型，根据训练流程上的差异又可以分为 InternLM2-Base、InternLM2、InternLM2-Chat 三个类型，其中 InternLM2是推荐的大部分应用下选用的基座模型，（猜测Base是没有经过不同维度知识强化的纯cloze预训练的模型，所以InternLM2更适合做下游任务的基座模型，没有考证）。

视频中强调了数据清洗以及高质量数据集对大模型性能影响的重要性，大模型本质上是在做语言建模。
弹幕中有人提问左下角图片的横坐标轴的意义，横坐标轴应该就是LLM在验证语料集的loss值，对概率求积分应该就是LLM在验证集loss的期望，所以分布越靠近左侧越好。

InternLM2支持200k的上下文长度。

给出了InternLM2 7B和20B在不同维度对比其他同量级LLM的雷达图，强调了其在推理、数学、代码的能力。

视频展示了一些示例，这里不做说明，详细可以参考视频 ，在时间轴10min左右，InternLM2提供了技术报告，链接。

视频提供了LLM到应用的典型流程，这个流程图很清晰。

二、 书生·浦语全链条开源开放体系

开源体系主要包含以下六个维度：

2.1 语料数据

两大开源数据集，书生·万卷1.0 和 书生·万卷CC
上海AILab创办了 OpenDataLab 这样一个开源数据集信息整合平台，并将上述的两个开源数据集在该平台发布。

2.2 预训练

高扩展性（8卡~千卡），极致优化，兼容性，易用性。
右上柱形图展示了浦语训练框架相较于Megatron-deepspeed在 512GPU卡下的卡均吞吐量（单位：tokens/gpu/s ）
右下折线图展示了该框架在不同GPU数目下的加速效率，其中8卡的加速效率设置为1.0。

2.3 微调

微调主要包含：增量续训（Continue PreTraining）、有监督微调（Supervised Finetuning，SFT）两种类型。
SFT又可以分为：全量参数微调、部分参数微调两种。

微调框架XTuner
在模型上适配图中5种开源LLM
在硬件上适配图中20系以上的消费级显卡，以及数据中心5种显卡

2.4 评测

OpenCompass思南 大语言评测体系，包含三部分：

1. CompassRank ，LLM评测榜单
   
2. CompassKit，评测工具链
3. CompassHub，评测基准社区

• 循环评测：单一选择会有不确定猜测的概率问题，把同一问题的候选项进行轮换，LLM只有正确回答所有轮换才被视为正确回答问题
• 复杂推理：国内LLM相较于GPT-4-Turbo仍然
• “理科”能力和模型尺寸关联性高
• 模型评测主客观都需考量，OpenCompass提供的是一个客观的评测rank，竞技场模式就是一个典型的主观评测方案，例如Chatbot Arena
  

2.5 部署

和vLLM在A100上进行的测试

2.6 应用

1. 智能体： Lagent框架
   

2. 多模态智能体工具箱：AgentLego
   引入了OpenMMLab视觉工具，Stable Diffusion等
   

三、总结

本次课程视频主要介绍了InternLM2，以及上海AILab围绕LLM开发的全链路的开源数据或工具两个部分，第一部分的详细信息需要阅读技术手册，第二部分需要在后续的实践中上手体验并深入研究。