第一讲的作业有两个部分,第一个部分,是书生·浦语大模型全链路开源体系视频讲座内容;第二个部分,是InternLM2技术报告【2403.17297.pdf (arxiv.org)】。
视频讲座部分系统地介绍了书生·浦语大模型全链路开源体系。
按规格,其体系有:
7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B:模型的综合性能更为强劲,可有效支持更加复杂的使用场景
按使用需求,其体系有:
InternLM2-Base:高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点
InternLM2:在Base基础上,在多个能力方向进行了强化,在评测中成绩优异,同时保持了很好的通用语言能力,是我们推荐的在大部分应用中考虑选用的优秀基座
InternLM2-Chat:在Base基础上,经过SFT和RLHF,面向对话交互进行了优化,具有很好的指令遵循,共情聊天和调用工具等能力
书生·浦语大模型全链路开源体系回归了语言建模的本质,即大模型构建的关键问题:清洗过滤、多维度数据价值评估、数据(富集、补齐)。
视频还介绍了浦语大模型体系的亮点,需要在使用中深入了解,以后有空找源码看。
通过这个视频,对浦语大模型体系有了一个初步了解。
第二个部分是浦语大模型的技术报告。
该报告全面地介绍了InternLM2的开发过程,包括基础设施、模型结构、预训练数据、预训练设置、预训练阶段、对齐策略、评估和分析以及结论。同时强调了InternLM2在处理长文本方面的能力,以及通过监督式微调(SFT)和基于人类反馈的条件在线强化学习(COOL RLHF)策略来提高与人类指令的一致性和价值观的对齐。讨论了数据准备、模型训练、性能评估和潜在的数据污染问题。此外,报告提供了对InternLM2在不同训练阶段的模型性能的深入分析,并与现有的大型语言模型进行了比较。
通过这个技术报告,对浦语大模型以及大模型有了一个全貌的映像。
接下来,期待体验浦语大模型的实际应用。