20240104书生·浦语大模型全链路开源体系

上海人工智能实验室开源了从数据准备到应用的全链路工具,包括大规模数据集、模型训练框架InternLM-Train、微调工具XTuner、部署框架LMDeploy、评测工具OpenCompass以及智能体Lagent和AgentLego,助力大模型的高效开发和应用。
摘要由CSDN通过智能技术生成

大模型开发流程

模型到应用的开发流程
在这里插入图片描述

上海人工智能实验室书生全链路开源

书生从训练到应用的全过程开源,包括数据准备,预训练架构InternLM-Train,微调框架XTuner,部署框架LMDeploy,评测工具OpenCompass,在应用方面智能体Lagent和智能体工具箱AgentLego。
在这里插入图片描述

数据-书生·万卷

包括超1TB的50亿个文档的文本数据、超140G的2200万个图像-文本数据集和超900G的1000多个视频数据,进行了多模态融合、精细化处理和价值观对齐等处理

InternLM-Train

  • 高可扩展,支持扩展到千卡训练
  • 极致性能优化,Hybrid Zero加速技术
  • 兼容主流,无缝接入HuggingFace等技术生态,支持各类量化技术
  • 开箱即用,支持多种规格语言模型,修改配置即可训练

微调 XTuner

大语言模型的下游应用中,增量训练和有监督微调是经常用到的两种方式

  • 增量训练,让基座模型学习到新知识
  • 有监督微调,让模型学会理解和遵循各种指令,或注入少量的领域知识

XTuner框架

  • 支持多种微调算法,多种微调策略与算法,覆盖各类SFT场景
  • 适配多种开源生态,支持HuggingFace、ModelScope模型或数据集
  • 自动优化加速,无需关注复杂的显卡优化
  • 适配多种硬件,支持NVIDIA 20系列以上的所有显卡

评测工具 OpenCompass

国内外评测工具
在这里插入图片描述
OpenCompass评测工具,是全球领先的大模型开源评测体系,包括6大维度

  • 学科,包括初中考试、高考、大学考试、语言能力考试、职业资格考试
  • 语言,字词释义、成语习语、语义相似、指代消解、翻译
  • 知识,知识问答、多语种知识问答
  • 理解,阅读理解、内容分析、内容总结
  • 推理,因果推理、常识推理、代码推理、数学推理
  • 安全,偏见、有害性、公平性、隐私性、真实性、合法性

工具层、方法层、能力层和模型层
在这里插入图片描述

部署 LMDeploy

大模型部署的挑战
在这里插入图片描述
LMDeploy框架

  • 高效推理引擎,持续批量处理技巧,深度优化的低比特计算kernel,模型并行,高效的k/v缓存机制
  • 完备易用的工具链,量化、推理、服务全流程,无缝对接OpenCompass评测推理精度,与OpenAI接口高度兼容

智能体 Lagent

  • 支持多种类型的智能体能力,包括ReAct、ReWoo、AutoGPT
  • 灵活支持多种大语言模型,包括GPT-3.5/4、Llama、InternLM
  • 支持丰富的工具,包括AI工具(文生图、文生语音)、能力拓展(搜索、计算器、代码解释器)、Rapid API(出行API、财经API)
    在这里插入图片描述

智能体工具箱 AgentLego

  • 支持多模态任务
  • 支持主流智能体系统,LangChain、Transformers Agent、Lagent
  • 多模态工具接口
  • 24
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值