书生·浦语大模型全链路开源体系笔记

大模型成为发展通用人工智能的重要途径

专用模型

  • 专用模型:针对特定任务,一个模型解决一个问题。
  • 通用大模型:一个模型应对多种任务、多种模态。
    在这里插入图片描述

书生·浦语大模型开源历程

在这里插入图片描述

书生·浦语 2.0(InternLM2)的体系

面向不同的使用需求 ,每个规格包含三个模型版本。

  • 7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型。
  • 20B:模型的综合性能更为强劲,可有效支持更加复杂的实用场景。
  • InternLM2-Base:高质量和具有很强可塑性的模型基座 是模型进行深度领域适配的高质量起点。
  • InternLM2:在 Base 基础上,在多个能力方向进行了强化 ,在评测中成绩优异,同时保持了很好的
    通用语言能力,是我们推荐的在大部分应用中考虑选用的优秀基座。
  • InternLM2-Chat:在 Base 基础上,经过 SFT 和 RLHF,面向对话交互进行了优化,具有很好的指令遵循、共情聊天和调用工具等的能力。

回归语言建模的本质

新一代数据清洗过滤技术

  • 多维度数据价值评估:基于文本质量、信息质量、信息密度等维度对数据价值进行综合评估与提升。
  • 高质量语料驱动的数据富集:利用高质量语料的特征从物理世界、互联网以及语料库中进一步富集更多类似语料。
  • 有针对性的数据补齐 针对性补充语料,重点加强世界知识、 数理、代码等核心能力。
    在这里插入图片描述

InternLM2的主要亮点

  • 超长上下文:模型在 20万 token上下文中,几乎完美实现“大海捞针”。
  • 综合性能、全面提升:推理、数学、代码提升显 著InternLM2-Chat-20B 在重点评测上比肩 ChatGPT
  • 优秀的对话和创作体验:精准指令跟随,丰富的结 构化创作,在AlpacaEval2超越 GPT-3.5 和Gemini Pro。
  • 工具调用能、力整体升级:可靠支持工具多轮调用复杂智能体搭建。
  • 突出的数理能力和实用的数据分析功能:强大的内生计算能力,加入代码解释后,在GSM8K 和 MATH 达到和 GPT-4 相仿水平。
    在这里插入图片描述

从模型到应用典型流程

在这里插入图片描述

书生·浦语全链条开源开放体系

  • 数据:书生·万卷,2TB数据,涵盖多种模态与任务。
  • 预训练:InternLM-Train,并行训练,极致优化速度达到 3600 tokens/sec/gpu。
  • 微调:XTuner,支持 全参数微调,支持LORA等低成本微调。
  • 部署:LMDeploy全链路部署,性能领先每秒生成 2000+ tokens 。
  • 评测:OpenCompass,全方位评测,性能可复现100 套评测集,50万道题目。
  • 应用:Lagent和AgentLego支持多种智能体,支持代
    码解释器等多种工具。

开放的高质量语料数据

在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述

评测

在这里插入图片描述
在这里插入图片描述

部署

在这里插入图片描述
在这里插入图片描述

智能体

在这里插入图片描述
在这里插入图片描述
有兴趣者可以观看这个视频教程,点击即可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值