书生大模型实战营-书生大模型全链路开源开放体系

书生大模型全链路开源开放体系

开源历程

书生浦语2.5技术特点：

模型优化的核心思路在于数据的优化

采用了多种高质量的合成数据，以获得模型性能的提升。

得到的模型效果：

具有基于规划和搜索解决问题的能力：

全链条开源体系

包括数据、与训练、微调、部署、评测以及应用。

数据集

书生·浦语大模型的数据集名为"书生·万卷"，于 2023 年 8 月 14 日发布。这个多语种高质量数据集包含 1.6 万亿个 token，涵盖多种模态和任务。具体来说，它包括：

• 文本数据：超过 50 亿个文档，总数据量超过 1TB。
• 图像-文本数据集：超过 2200 万个文件，总数据量超过 140GB。
• 视频数据：超过 1000 个文件，总数据量超过 900GB。

预训练和微调

书生·浦语大模型采用了InternLM-Train进行预训练。InternLM-Train是一个基于Transformer架构的预训练模型，拥有1040亿参数。通过在书生·万卷数据集上进行训练，模型具备了强大的语言理解和生成能力。它支持从8卡到千卡的训练，千卡训练效率高达92%，并且可以无缝接入HuggingFace等技术生态，支持各种轻量化技术。

部署

在模型应用方面，书生·浦语大模型使用了LMDeploy部署框架。LMDeploy提供了大模型在GPU上的全流程部署解决方案，包括模型轻量化、推理和服务。它能够将大模型快速部署到各种计算平台上，实现实时推理和应用。

应用

在应用方面，书生·浦语大模型开发了Lagent和AgentLego多模态智能体工具箱，帮助开发者构建和训练多模态智能体，实现图文混合创作和多模态对话等应用场景。