InternLM实战营第二期第1节课笔记-书生·浦语大模型全链路开源体系-CSDN博客

本文链接：https://blog.csdn.net/maizijieguida/article/details/139360915

实战营链接：https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

视频链接：书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

InternLM2 技术报告：https://arxiv.org/pdf/2403.17297

5.4测评OpenCompass2.0司南大模型测评体系

4.2基于人类反馈的条件在线强化学习COOL RLHF

5测评

总结

一、视频学习

1.模型分类

专用模型、通用模型

2.书生·浦语开源生态

3.书生·浦语2.0的优势

4.从模型选型到模型部署流程图

5.书生·浦语提供的开源模型

从数据集->预训练->微调->部署->评测->应用全覆盖的工具。

5.1书生·万卷数据集

OpenDataLab 引领AI大模型时代的开放数据平台

5.2预训练InternLM-Train

5.3微调XTuner

5.4测评OpenCompass2.0司南大模型测评体系

5.5部署LMDeploy

5.6智能体Lagent

二、技术文档

大语言模型的发展包括预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）等主要阶段 (Ouyang et al., 2022)。预训练主要基于利用大量的自然文本语料库，积累数万亿的token。这个阶段的目标是为大语言模型配备广泛的知识库和基本技能。预训练阶段的数据质量被认为是最重要的因素。然而，过去关于大语言模型的技术报告 (Touvron et al., 2023a;b; Bai etal., 2023a; Bi et al., 2024)很少关注预训练数据的处理。InternLM2详细描述了如何为预训练准备文本、代码和长文本数据。

1.InternEvo：

在预训练、SFT 和 RLHF 中使用的训练框架 InternEvo

2.模型架构

在Transformer架构基础上进行了改进，将LayerNorm（Ba et al. (2016)）替换为RMSNorm（Zhang & Sennrich (2019)），并采用SwiGLU（Shazeer (2020)）作为激活函数，从而提高了训练效率和性能。

3.预训练

3.1预训练数据处理

3.2预训练设置

进行分词（Tokenization）和预训练的超参数设置

3.3预训练

用于预训练1.8B、7B和20B模型的总的token数范围从2.0T到2.6T，预训练过程包括三个不同的阶段。在第一阶段，我们使用了长度不超过4k的预训练语料库。在第二阶段，我们包括了长度不超过32k的50%的预训练语料库。在第三阶段，我们使用了特定能力的增强数据。在每一阶段，我们都混合了英文、中文和代码数据。

4.对齐

通常包含两个阶段：监督微调（SFT）和基于人类反馈的强化学习（RLHF）

4.1监督微调

4.2基于人类反馈的条件在线强化学习COOL RLHF

5测评

总结

书生·浦语大模型实战营第二期培训课程为参与者提供了一个全面的视角，以理解书生·浦语大模型的全链路开源体系和InternLM2的技术亮点。书生·浦语大模型不仅在技术上取得了显著的进步，而且在实际应用中展现出了强大的能力和潜力。这些进步不仅推动了人工智能领域的发展，也为未来的科技创新和应用提供了坚实的基础。