第一节“书生·浦语大模型全链路开源体系”笔记

书生·浦语大模型实战营——第一节“书生·浦语大模型全链路开源体系”

介绍

1. 通用人工智能——不同于专用模型——针对特定任务，单模型对应单任务
2. 大模型——具备常识性知识，可应对多领域多种任务

从模型到应用

根据实际应用需求，进行模型选择-模型训练（微调）-模型部署应用

全链路开源体系——万卷数据

针对语言大模型、视觉语言大模型等多模态大模型，提供不同训练数据支持：

1. 文本数据
2. 图像-文本数据
3. 视频数据

为模型训练提供以下帮助：

1. 多模态融合——涵盖科技、文学、媒体、教育和法律等多个领域。该数据集对模型的知识内容、逻辑推理和泛化能力的提升有显著效果
2. 精细化处理——经过语言筛选、文本提取、格式标准化、数据过滤和清洗（基于规则和模型）、多尺度去重和数据质量评估等精细数据处理环节，能够很好地适应后续模型训练的要求
3. 价值观对齐——在万卷的构建过程中，研究人员注重将数据内容与主流中国价值观进行对齐，并通过算法和人工评估的结合提高语料库的纯净度

全链路开源体系——预训练工具

1. 高可拓展性
2. 极致性能优化
3. 兼容主流
4. 开箱即用

全链路开源体系——微调

增量续训——针对垂类领域知识，通过文章、书籍、代码等，让基座模型学习到一些新知识
有监督微调——通过高质量的对话、问答数据，让模型学会理解和遵循各种指令，或者注入少量领域知识

XTuner

适配多种生态

适配多种硬件

消费级入门显卡部署

全链路开源体系——评测

主观评测 / 客观评测
中文评测 / 多语言评测
单学科领域评测 / 多学科多领域评测

OpenCompass

提供6大维度，80+评测集，40万+评测题目

全链路开源体系——部署

大模型部署

大语言模型特点

1. 内存开销巨大
2. 动态Shape
3. 模型结构相对简单

技术挑战

1. 低算力设备部署
2. 加速推理
3. 实时服务

部署方案

1. 模型并行
2. 低比特量化
3. Attention优化
4. 计算与访存优化
5. Continous Batching

LMDeploy

提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。

全链路开源体系——智能体

大语言模型存在局限性

在最新信息和知识的获取，回复的可靠性，数学计算，工具使用和交互上存在问题

引入**”智能体“——通过大模型管理**多类工具/已有应用，实现更加智能与准确的问题解决。

轻量级智能体框架Lagent

1. 支持多种类型的智能体能力
   

2. 灵活支持多种大语言模型
   

3. 简单易拓展，支持丰富的工具
   

多模态智能体工具箱 AgentLego

丰富的工具集合，尤其是提供了大量视觉、多模态相关领域的前沿算法功能支持多个主流智能体系统，如 LangChain，Transformers Agent，Lagent 等灵活的多模态工具调用接口，可以轻松支持各类输入输出格式的工具函数键式远程工具部署，轻松使用和调试大模型智能体

总结

书生·浦语大模型全链路开源体系在数据-预训练-微调-部署-评测-应用多个维度上，为大模型的开发提供了支持，帮助开发者更方便地进行系统开发与应用部署。