1. 数据集构造的方案:
- 基于规则数据构造:将数学公式、函数或者代码等伪格式化数据进行处理构造数据集
- 基于模型的数据扩充:使用商用大模型做数据增强,提高数据的质量和数量
- 基于反馈的数据生成:大模型生成的答案由人类进行评价,选取最好的作为数据构造结果
2. 书生浦语2.0(InternLM2)的体系
书生浦语2.0根据不同的使用需求提供了不同的模型版本。按照规格分为7B和20B两种模型;按照使用需求分为InternLM2-Base、InternLM2和InternLM2-Chat。
3. 书生浦语2.0主要亮点
- 超长上下文处理能力
- 综合性能提升
- 对话和创作体验改善
- 工具调用能力增强
- 数理能力和数据分析功能加强
其中,InternLM2-Chat-20B在某些评测中达到了与ChatGPT(GPT3.5)相当的水平。
4. 从模型到应用
书生浦语全链条开源开放体系涵盖了数据、预训练、微调、部署、评测和应用等各个方面。
- 数据:书生·万卷数据集,包含1.6万亿token,覆盖多种模态和任务,为模型提供了丰富的语言信息和知识基础。
- 预训练:使用InternLM-Train进行预训练,这是一个基于Transformer架构的大模型,支持从8卡到千卡训练,具备高效的训练能力。
- 微调:XTuner微调框架,可根据不同任务需求对模型进行微调,支持多种任务类型和低成本微调方法。
- 部署:LMDeploy部署框架,提供大模型在GPU上的部署解决方案,包括模型轻量化、推理和服务。
- 评测:OpenCompass评测框架,包含80套评测集,40万道题目,全面评估模型的表现。
- 应用:Lagent和AgentLego智能体工具箱,帮助开发者构建和训练多模态智能体,实现图文混合创作、多模态对话等功能。