书生大模型全链路开源体系笔记

大模型成为发展通用人工智能的重要途径

书生·浦语大模型开源历程

书生·浦语 2.0(InternLM2)的体系

面向不同的使用需求 ，每个规格包含三个模型版本。

• 7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型。
• 20B：模型的综合性能更为强劲，可有效支持更加复杂的实用场景。
• InternLM2-Base：高质量和具有很强可塑性的模型基座 是模型进行深度领域适配的高质量起点。
• InternLM2：在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的
  通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。
• InternLM2-Chat：在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具等的能力。

回归语言建模的本质

新一代数据清洗过滤技术

• 多维度数据价值评估：基于文本质量、信息质量、信息密度等维度对数据价值进行综合评估与提升。
• 高质量语料驱动的数据富集：利用高质量语料的特征从物理世界、互联网以及语料库中进一步富集更多类似语料。
• 有针对性的数据补齐 针对性补充语料，重点加强世界知识、 数理、代码等核心能力。
  

InternLM2的主要亮点

从模型到应用典型流程

书生·浦语全链条开源开放体系

开放的高质量语料数据

预训练

微调

评测

部署

智能体

有兴趣者可以观看这个视频教程，点击即可。