书生大模型全链路开源开放体系笔记

书生浦语大模型

书生浦语大模型自去年发布以来不断迭代，具备多种能力和优势，如超长上下文能力、优秀的对话和创作体验、突出的数据能力等。

1，开源历程

2024年1月17日，InternLM 2 已经开源，InternLM 2 7B模型适用轻量级的研究和应用，InternLM 2 20B模型可有效支持更加复杂的使用场景。

面向不同的使用需求，每个规格有三个版本：
InternLM2-Base --可塑性的模型基座。
InternLM2 --在Base的基础上，在多个能力方向进行了强化，大部分应用中考虑适用的优秀基座。
InternLM2-Chat --在Base基础上，经过SFT和RLHF面向对话交互进行了优化，具有很好的指令遵循，共情聊天和调用工具的能力。

2，全链条开源开放体系
全链条开源开放体系涵盖数据、预训练、微调、部署、评测、应用等多个环节，各环节均有相应的开源工具和框架。

数据：发布了多模态数据集，包括书生万卷1.0和书生万卷cc 等，数据量大且经过精细处理，符合主流价值观。
预训练：InternLM-Train预训练框架具备高可扩展性，支持从8卡到千卡级训练，加速效率高，能兼容主流技术生态。
微调：XTuner微调框架能适配不同生态和硬件，支持多种微调方式，降低微调成本，提高效率。
部署：LMDeploy全链路部署包括模型轻量化、推理和服务。
评测：OpenCompass司南大模型评测体系包括性能榜单、全站工具链和高质量评测基准社区，实现应用：全方位评测。智能体应用包含轻量级的智能体框架Lagent和多模态智能体工具箱AgentLego。