书生·浦语大模型全链路开源体系课程笔记

2024年1月，上海 AI Lab正式发布书生·浦语 2.0（InternLM2），推出了1.8B、7B和20B三种参数规格，以及Base、Chat等多个版本。

InternLM2_Base是一个高质量、高可塑性的基座模型。

InternLM2在Base基础上增强了多项能力，成为了更为优秀的基座模型。

Chat-SFT是在Base基础上经过有监督微调SFT后的对话模型。

InternLM2-Chat则是在Chat-SFT基础上，再经过RLHF对齐后的对话模型。

大模型成为发展通用人工智能的重要途径

书生·浦语大模型的开源历程

回归语言建模的本质

InternLM2的核心理念在于回归语言建模的本质，通过提高语料质量和信息密度，实现了基于语言建模的质的提升。

书生·浦语2.0的主要亮点

其主要亮点包括：上下文增加到20w，推理数学代码能力提升，结构化创作、工具调用能力和内生计算、代码解释等方面的提升。

性能全方位提升

相较于1代的InternLM，2代的InternLM2在各个方面都实现了全方位的性能提升。

工具调用能力提升

除了数学计算能力强大外，InternLM2还可以借助代码解释器提高精度，例如在难度更高的MATH数据集上的表现。

强大的内生计算能力

此外，InternLM2还可以进行实用的数据分析，如读取表格、分析数据、绘制统计图表和调用机器学习算法等。

从模型到应用

在模型应用的全流程中，从模型选型到模型部署都进行了全方位的开源，包括数据预训练、微调、部署、评测和应用。

微调

对于微调，开源的高效微调框架XTuner支持多种任务、多种输入数据格式、优化加速和多种微调算法。

智能体

另外，在Agent方向，开源提供了Lagent和工具箱AgentLego，使开发者可以更专注于智能体本身的开发。