学习笔记：书生·浦语实战营第二期第一课

目录

1. 相关视频和文档

2. 视频学习笔记

2.1 书生·浦语大模型开源历程总览

2.2 InternLM2模型使用示例

2.3 全链条开放体系

3. 技术报告学习笔记

---

1. 相关视频和文档

• 视频地址：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili
• InternLM2技术报告链接：2403.17297.pdf (arxiv.org)

2. 视频学习笔记

2.1 书生·浦语大模型开源历程总览

InternLM2：有不同的规格（7B/20B）和模型版本（InternLM2-Base/InternLM2/InternLM2-Chat）

• 7B：为轻量级的研究和应用提供了一个轻便且性能不俗的模型
• 20B：模型的综合性能更为强劲，可以有效支持更加复杂的实用场景
• InternLM2-Base：高质量和具有很强可塑性的模型基座
• InternLM2：在Base的基础上，从多方面进行强化，在大部分任务中推荐首选此版本
• InternLM2-Chat：在Base的基础上，针对对话交互任务进行优化，主要用于聊天

** 注：开源模型是不同规格和版本的组合，例如：InternLM2-Base-7B

Q1：InternLM2的优势？

A1：回归语言建模本质，多维度数据价值评估，高质量语料驱动的数据富集，针对性补齐数据

2.2 InternLM2模型使用示例

AI聊天助手	数学运算	代码解释

Q2：具体可应用于哪些方面？以及如何从模型实现应用？

A2：可应用于智能客服，个人助手，行业应用等方面。具体实现过程可参照下图：

2.3 全链条开放体系

3. 技术报告学习笔记

       近年来，诸如ChatGPT的大型语言模型（LLMs）的发展引发了有关人工通用智能（AGI）的讨论，然而要实现类似的功能并将模型开源是具有挑战性的。技术报告介绍了InternLM2，该模型在InternLM的基础上，通过创新的预训练和优化技术，在六个维度和三十个基准的综合评估、长上下文建模和开放式主观评估方面达到了比InternLM更好的效果。

       技术报告中详细介绍了InternLM2的预训练过程，通过实验对比分析，突出了多种训练数据类型（包括文本、代码和长上下文）的重要性。InternLM2有效地捕获了长程依赖关系，采用了监督微调（SFT）和一种新的基于人类反馈的条件在线强化学习（COOL RLHF）策略，首先在4k的基础数据上进行训练，然后在预训练和微调阶段提升到32k，在各类测试任务中表现出色。

       此外还需要说明的是，InternLM2相关系列的模型都是开源的，为这个领域做出了重大贡献。