书生·浦语大模型全链路开源体系(1)

大模型发展

大模型发展成为发展通用人工智能的重要途径

从专用模型（针对特定任务，一个模型解决一个特点问题，如围棋的Alphafold）

到通用大模型（一个模型应对多种任务，多种模式，如chatgpt）

书生·浦语大模型的具体发展

轻量级InternLM-7B  ->  中量级InternLM-20B  ->  重量级InternLM-123B

性能

模型的应用

书生·浦语大模型全链路开源体系

体系内容

数据、预训练、微调、部署、评测和应用

数据

书生万卷1.0：2TB数据量（文本数据、图像-文本数据、视频数据）

特点：多模态融合，精细化处理，价值观对齐

OpenDataLab：提供丰富多样的开放数据

预训练

特点：高可扩展，性能优化，兼容主流，开箱即用

微调

增量续训

使用场景：让基座模型学习到一些新知识，如某个垂类领域知识

训练数据：文章、书籍、代码等

有监督微调

使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识

训练数据：高质量的对话、问答数据

XTuner（高效微调框架）

多种微调算法

适配多种开源生态

自动优化加速

适配多种硬件

显存优化：

评测

评测工具：

OpenCompass（大模型开源评测体系）

特点：6大维度，80+评测集，40万+评测题目

架构：

架构特点：丰富模型支持，分布式高效评测，便捷的数据集接口，敏捷的能力迭代，丰富模型支持

部署

大语言模型特点

内存开销巨大

动态Shape

模型结构相对简单

技术挑战

设备

推理

服务

部署方案

技术点

LMDeploy（全模型解决方案）

推理性能：

智能体（应用）

大语言模型的局限性

最新信息和知识的获取

回复的可靠性

数学计算

工具使用和交互

Lagent（轻量级智能体框架）

支持多种类型的智能体调用

灵活支持多种大语言模型

简单易扩展，支持丰富的工具

AgentLego（多模态智能体工具箱）