书生·浦语大模型笔记

总体概览

InternLM2模型通过创新的预训练和优化技术，在六个维度和30个基准测试中表现出色。该模型能够高效捕捉长期依赖关系，最初在4k tokens上训练，然后进阶到32k tokens，并在200k的“针堆”测试中展现出卓越的性能。通过监督式微调（SFT）和一种新的基于条件在线强化学习（COOL RLHF）的策略，InternLM2进一步与人类偏好对齐，解决了冲突的人类偏好和奖励黑客问题。

技术报告主要内容

引言：介绍了大型语言模型（LLMs）的发展历程以及InternLM2的创新之处。
基础设施：介绍了用于模型训练的InternEvo框架，它支持大规模GPU训练，并采用多种并行技术和优化策略。
预训练：详细描述了预训练数据的准备，包括文本、代码和长文本数据，以及预训练设置和阶段。
对齐：介绍了如何通过监督式微调（SFT）和基于条件的在线强化学习（COOL RLHF）来确保模型遵循人类指令并与人类价值观对齐。
评估与分析：提供了模型在各种下游任务上的性能评估，包括综合考试、语言和知识、推理和数学、编程、长文本建模和工具使用等。
结论：总结了InternLM2的主要贡献和优势。

链路