第1节:书生·浦语大模型全链路开源开放体系
1.1书生·浦语大模型的开源历程
2023.6.7 InternLM千亿参数语言大模型发布
2023.7.6 InternLM千亿参数大模型全面升级,支持8K语境、26种语言。 全面开源,免费商用:InternLM-7B模型、全链条开源工具体系
2023.8.14 书生万卷1.0多模态预训练语料库开源发布
2023.8.21 升级版对话,模型InternLM-Chat-7B v1.1发布,开源智能体框架Lagent,支持从语言模型到智能体升级转换 2023.8.28:InternLM千亿参数模型参数量升级到123B
2023.9.20 增强型InternLM-20B开源,开源工具链全线升级
2024.1.17 InternLM2开源
1.2 InternLM2的体系面对不同的使用需求,每个规格包含三个模型版本。
按规格分类
7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B:模型的综合性能更为强劲,可有效支持更加复杂的使用场景
按使用需求分类
InternLM2-Base:高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点
InternLM2:在Base基础上,在多个能力方向进行了强化,在评测中成绩优异,同时保持了很好的通用语言能力,是我们推荐的在大部分应用中考虑选用的优秀基座
InternLM2-Chat:在Base基础上,经过SFT和RLHF,面向对话交互进行了优化,具有很好的指令遵循,共情聊天和调用工具等能力
1.3书生·浦语2.0 (InternLM2) 主要亮点
超长上下文:模型在20万token上下文中,几乎完美实现”大海捞针“
综合性能全面提升:推理、数学、代码提升显著InternLM2-Chat-20B在重点评测上比肩ChatGPT
优秀的对话和创作体验:精准指令跟随,丰富的结构化创作,在AlpacaEval2超越GPT3.5和Gemini Pro
工具调用能力整体升级:可靠支持工具多轮调用,复杂智能体搭建
突出的数理能力和使用的数据分析功能:强大的内生计算能力,加入代码解释后,在GSM8K和MATH达到和GPT-4相仿水平
总之,书生·浦语2.0 (InternLM2) 的性能得到了全方位的提升。
1.4书生·浦语全链条开源开放体系
数据-书生万卷:2TB数据,涵盖多种模态与任务
预训练-InternLM-Train:并行训练,极致优化,速度达到3600tokens/sec/gpu
微调-Xtuner:支持全参数微调,支持LoRA等低成本微调
部署-LMDeploy:全链路部署,性能领先,每秒生成2000+ tokens
评测-OpenCompass:全方位评测,性能可复现100套评测集,50万道题目
应用-Lagent、AgentLego:支持多种智能体,支持代码解释器等多种工具
2.0InternLM2技术报告
1.简介
2.基础设施
2.1InternEvo
2.2模型结构
3.预训练
删除重复数据;标记化
4.对齐
4.1监督微调
4.2条件奖励模型,包含不同的系统提示,针对不同类型的偏好,从而有效地模拟单一奖励模型中的各种偏好。
4.3长上下文微调
4.4工具增强LLM
5. 评价与分析
5.1对下游任务的表现
5.2对齐性能
5.3关于数据污染的探讨
6.结论