上海人工智能实验室书生·浦语大模型基础岛关卡1-书生大模型全链路开源体系

1. 数据集构造的方案：

• 基于规则数据构造：将数学公式、函数或者代码等伪格式化数据进行处理构造数据集
• 基于模型的数据扩充：使用商用大模型做数据增强，提高数据的质量和数量
• 基于反馈的数据生成：大模型生成的答案由人类进行评价，选取最好的作为数据构造结果

2. 书生浦语2.0（InternLM2）的体系

书生浦语2.0根据不同的使用需求提供了不同的模型版本。按照规格分为7B和20B两种模型；按照使用需求分为InternLM2-Base、InternLM2和InternLM2-Chat。 

3. 书生浦语2.0主要亮点

• 超长上下文处理能力
• 综合性能提升
• 对话和创作体验改善
• 工具调用能力增强
• 数理能力和数据分析功能加强

其中，InternLM2-Chat-20B在某些评测中达到了与ChatGPT（GPT3.5）相当的水平。

4. 从模型到应用

书生浦语全链条开源开放体系涵盖了数据、预训练、微调、部署、评测和应用等各个方面。

1. 数据：书生·万卷数据集，包含1.6万亿token，覆盖多种模态和任务，为模型提供了丰富的语言信息和知识基础。
2. 预训练：使用InternLM-Train进行预训练，这是一个基于Transformer架构的大模型，支持从8卡到千卡训练，具备高效的训练能力。
3. 微调：XTuner微调框架，可根据不同任务需求对模型进行微调，支持多种任务类型和低成本微调方法。
4. 部署：LMDeploy部署框架，提供大模型在GPU上的部署解决方案，包括模型轻量化、推理和服务。
5. 评测：OpenCompass评测框架，包含80套评测集，40万道题目，全面评估模型的表现。
6. 应用：Lagent和AgentLego智能体工具箱，帮助开发者构建和训练多模态智能体，实现图文混合创作、多模态对话等功能。