书生大模型全链路开源开放体系
开源历程 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/4df512a98ee14b08a4b8585b642cc61f.png)
书生浦语2.5技术特点:
模型优化的核心思路在于数据的优化
采用了多种高质量的合成数据,以获得模型性能的提升。
得到的模型效果:
具有基于规划和搜索解决问题的能力:
全链条开源体系
包括数据、与训练、微调、部署、评测以及应用。
数据集
书生·浦语大模型的数据集名为"书生·万卷",于 2023 年 8 月 14 日发布。这个多语种高质量数据集包含 1.6 万亿个 token,涵盖多种模态和任务。具体来说,它包括:
- 文本数据:超过 50 亿个文档,总数据量超过 1TB。
- 图像-文本数据集:超过 2200 万个文件,总数据量超过 140GB。
- 视频数据:超过 1000 个文件,总数据量超过 900GB。
预训练和微调
书生·浦语大模型采用了InternLM-Train进行预训练。InternLM-Train是一个基于Transformer架构的预训练模型,拥有1040亿参数。通过在书生·万卷数据集上进行训练,模型具备了强大的语言理解和生成能力。它支持从8卡到千卡的训练,千卡训练效率高达92%,并且可以无缝接入HuggingFace等技术生态,支持各种轻量化技术。
部署
在模型应用方面,书生·浦语大模型使用了LMDeploy部署框架。LMDeploy提供了大模型在GPU上的全流程部署解决方案,包括模型轻量化、推理和服务。它能够将大模型快速部署到各种计算平台上,实现实时推理和应用。
应用
在应用方面,书生·浦语大模型开发了Lagent和AgentLego多模态智能体工具箱,帮助开发者构建和训练多模态智能体,实现图文混合创作和多模态对话等应用场景。