【InternLM 实战营第二期】书生·浦语大模型全链路开源体系及InternLM2技术报告笔记【第一次笔记】

第一讲的作业有两个部分，第一个部分，是书生·浦语大模型全链路开源体系视频讲座内容；第二个部分，是InternLM2技术报告【2403.17297.pdf (arxiv.org)】。

视频讲座部分系统地介绍了书生·浦语大模型全链路开源体系。

按规格，其体系有：

7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型

20B：模型的综合性能更为强劲，可有效支持更加复杂的使用场景

按使用需求，其体系有：

InternLM2-Base：高质量和具有很强可塑性的模型基座，是模型进行深度领域适配的高质量起点

InternLM2：在Base基础上，在多个能力方向进行了强化，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座

InternLM2-Chat：在Base基础上，经过SFT和RLHF，面向对话交互进行了优化，具有很好的指令遵循，共情聊天和调用工具等能力

书生·浦语大模型全链路开源体系回归了语言建模的本质，即大模型构建的关键问题：清洗过滤、多维度数据价值评估、数据（富集、补齐）。

视频还介绍了浦语大模型体系的亮点，需要在使用中深入了解，以后有空找源码看。

通过这个视频，对浦语大模型体系有了一个初步了解。

第二个部分是浦语大模型的技术报告。

该报告全面地介绍了InternLM2的开发过程，包括基础设施、模型结构、预训练数据、预训练设置、预训练阶段、对齐策略、评估和分析以及结论。同时强调了InternLM2在处理长文本方面的能力，以及通过监督式微调（SFT）和基于人类反馈的条件在线强化学习（COOL RLHF）策略来提高与人类指令的一致性和价值观的对齐。讨论了数据准备、模型训练、性能评估和潜在的数据污染问题。此外，报告提供了对InternLM2在不同训练阶段的模型性能的深入分析，并与现有的大型语言模型进行了比较。

通过这个技术报告，对浦语大模型以及大模型有了一个全貌的映像。

接下来，期待体验浦语大模型的实际应用。