ch1-书生浦语大模型全链路开源体系介绍

ch1-书生浦语大模型全链路开源体系介绍

书生浦语大模型全链路开源体系

视频链接：https://www.bilibili.com/video/BV1Rc411b7ns/?vd_source=b96c7e6e6d1a48e73edafa36a36f1697

首先简单介绍了一下大模型成为了热门关键词，以及大模型正成为发展通用人工智能的重要途径，然后就引入了书生浦语大模型的开源历程。目前，书生浦语大模型系列主要包括三个系列

• 轻量级：InternLM-7B
• 中量级：InternLM-20B
• 重量级：InternLM-123B

号称全面领先相近量级的开源模型，以不足三分之一的参数量达到Llama2-70B的水平。

中间简单说了一下从模型到应用的几个关键步骤，从而引入了书生浦语全链条开源开放体系：

• 数据：书生万卷，2TB数据，涵盖多种模态与任务
• 预训练：InternLM-Train，并行训练，极致优化
• 微调：XTuner，支持全参数微调，支持LoRA等低成本微调
• 评测：OpenCompass开源评测平台架构
• 部署：LMDeploy提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。
• 智能体：
  • Lagent，轻量级智能体框架
  • AgentLego，多模态智能体工具箱

全链条开源开放体系|数据

全链条开源开放体系|预训练

全链条开源开放体系|微调

全链条开源开放体系|评测

全链条开源开放体系|部署

大语言模型特点主要有：

• 内存开销巨大
  • 庞大的参数量
  • 采用自回归生成token，需要缓存k/v
• 动态Shape
  • 请求数不固定
  • token逐个生成，且数量不足
• 模型结构相对简单
  • transformer结构，大部分是decoder-only

全链条开源开放体系|智能体

大语言模型的局限性

• 最新信息和知识的获取
• 回复的可靠性
• 数学计算
• 工具使用和交互

从LLM到智能体：