书生大模型实战营——书生·浦语大模型全链路开源体系介绍

背景

随着人工智能技术的迅猛发展,大型模型已成为当前人工智能领域的焦点。2022年11月30日,美国OpenAI公司发布了通用对话系统ChatGPT,仅上线60天月活跃用户超过1亿,创下互联网应用历史最快用户增长记录。2023年3月14日,OpenAI发布升级版GPT-4,展现出更高级别的能力,再次引领技术飞跃,并掀起全球大型模型发展的热潮。不仅国际科技巨头积极加大投入,推动大型模型产业快速落地,国内头部企业也积极追赶步伐,竞相进军大型模型的新领域,抓住认知智能大型模型带来的历史机遇。

在这里插入图片描述

浦语大模型

浦语大模型自2023年起逐步实现了开源,目前最新版本为浦语2.0:
在这里插入图片描述

InternLM2-Base
InternLM2
InternLM2-Chat
在这里插入图片描述

通过新一代数据清洗过滤技术,InternLM2在大规模高质量验证语料和下游任务中显著提升。

以20B开源大模型为例,其性能全面领先相近量级的开源模型(包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型),以不足三分之一的参数量,达到Llama2-70B水平。

全链路开源体系

全链路开源体系,涵盖从数据到应用的开源开放体系。

在这里插入图片描述
数据: 开放了书生万卷,具有2TB数据,涵盖多种模态与任务
在这里插入图片描述

预训练: 开源了InternLM-Train框架,支持并行训练,进行了极致优化,速度达到3600 tokens/sec/gpu
在这里插入图片描述

微调: 开源了XTuner框架,支持 全参数微调,支持LoRA等低成本微调
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署: 开源了LMDeploy框架,支持全链路部署,性能领先,每秒生成2000+ tokens
在这里插入图片描述
在这里插入图片描述

评测: 开源OpenCompass框架,支持全方位评测,性能可复现,80套评测集,40万道题目
在这里插入图片描述

应用: 开源了Lagent、AgentLego项目,支持多种智能体,支持代码解析器多种工具调用
在这里插入图片描述
在这里插入图片描述

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值