大模型成为发展通用人工智能的重要途径
专用模型
通用模型
情绪识别、命名主题识别
书生·浦语大模型
- InternLM 千亿参数语言大模型
- 书生·万卷1.0 多模态预训练语料库
- InternLM-7B模型
- 模型InternLM-Chat-78
- 开源智能体框架Lagent
- 70亿模型参数
- 10000亿训练token数据
- 长语境能力、8k语境窗口长度
- 通用工具调用能力,支持多种工具调用模板
- 增强版InternLM-20B
- 200亿参数量
- 深而窄的结构,降低推理计算量但是提高了推理能力
- 4k训练语境长度,推理时可外推至16k
- InternLM-123B
- 1230亿模型参数
- 极强的推理能力、全面的知识覆盖面、超强解释能力与对话能力
- 准确的API调用能力,可实现各类Agent
书生·浦语全链条开放体系
-
数据
- 书生·万卷
-
预训练
- InternLM-Train
-
微调
- XTuner
-
部署
- LMDeploy
-
评测
- OpenCompass
-
应用
- Lagent AgentLego
全链条开放体系|部署
大模型特点
内存开销大
- 庞大的参数两
- 采用自回归生成token,需要缓存k/v
动态Shape
- 请求数不固定
- token逐个生成,且数量不定
模型结构相对简单
- transformer结构,大部分是decoder-only
技术挑战
设备
- 低存储设备(消费级显卡、移动端等)如何部署
推理
- 如何加速token的生成速度
- 如何解决动态shape,让推理可以不间断
- 如何有效管理和利用内存
服务
- 提升系统整体吞吐量
- 降低请求的平均相应速度
部署
技术点
- 模型并行
- 低比特量化
- Atention优化
- 计算和访存优化
- Continuous Batching
LMDeploy提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务
- 接口
- Python
- gRPC
- RESTful
- 轻量化
- 4bit权重
- 8bit k/v
- 推理引擎
- turbomind
- pytorch
- 服务
- openai-server
- gradio
- triton inference server
高效推理引擎
- 持续批处理技巧
- 深度优化的低比特运算
- 模型并行
- 高效的k/v缓存管理机制
完备易用的工具链
- 量化、推理、服务全流程
- 无缝对接OpenCompass评测推理精度
- 和OpenAI接口高度兼容的API server
大语言模型的局限性
- 最新信息和知识的获取
- 回复的可靠性
- 数学计算
- 工具使用和交互
多模态智能体工具箱 AgentLego
- 丰富的工具集合,尤其是提供了大量视觉、多模态相关领域的前言算法功能
- 支持多个1主流智能体系统,如LangChain,Transformers Agent,Lagent等
- 灵活的多模态工具调用接口,可以轻松支持各类输入输出格式的工具函数
- 一键式远程工具部署,轻松使用和调试大模型智能体