【书生·浦语】大模型实战营——大模型全链路开源体系

背景——大模型成为发展通用人工智能的重要途径

• 专用模型： 针对特定任务，一个模型解决一个问题。例如ImageNet分类挑战赛，人脸识别；
• 通用大模型：一个模型应对多种任务，多种模态；

发展过程

应用流程

• 模型选型：关注不同维度的能力从开源社区提供的模型选择适合的模型；
• 模型微调：在业务场景比较复杂的情况下，需要进行微调。根据算力能力可以分为部分参数微调以及全参数微调；
• 构建智能体：根据是否与外界环节交互（数据库、外部API）
• 模型部署：考虑更少的资源部署模型，提升应用的吞吐量；

书生·浦语全链条开放体系

数据——书生·万卷

• 多模态融合：涉及文本、图像、视频等多模态数据；
• 精细化处理：经过语言筛选、文本提取、格式标准化、数据过滤和清洗、多尺度去重和数据质量评估等精细数据处理环节；
• 价值观对齐：数据内容与中国价值观进行对齐；

微调——XTuner

• 增量续训

使用场景：让基座模型学习到一些新知识、如某个垂类领域知识

训练数据：文章、书籍、代码等

• 有监督微调

使用场景：让模型学会理解和遵循各种指令，或者注入少量领域知识

训练数据：高质量的对话、问答数据

评测——OpenCompass

1. 常见的评测工具：

2. OpenCompass 主要内容

部署——LMDeploy

可以关注的点：

内存开销巨大

自回归生成token，需要缓存k/v

动态shape，token逐个生成，且数量不定

Continous Batching

静态推理性能和动态推理性能

智能体

        大语言模型在最新信息和知识的获取、回复的可靠性、数学计算以及工具使用和交互上有些问题，需要agent处理一些事情。

        一般agent 分为 plan & action 、工具调用等部分，常见的智能体能力可以分为下面及部分：

AgentLego：多模态智能体工具箱

丰富的工具集合，尤其是提供了大量视觉、多模态相关领域的前沿算法功能
支持多个主流智能体系统，如 LangChain，Transformers Agent，Lagent 等
灵活的多模态工具调用接口，可以轻松支持各类输入输出格式的工具函数
一键式远程工具部署，轻松使用和调试大模型智能体