书生·浦语大模型全链路开源体系与InternLM2技术报告(InternLM 实战营第一次笔记)

一、书生·浦语大模型全链路开源体系

视频来源:https://www.bilibili.com/video/BV1Vx421X72D/

1、技术背景

        现如今,大模型已经成为了发展通用人工智能的重要途径,与其他专有模型相比通用大模型有更广阔的应用场景,成为了最近的主要发展方向。

2、发展历程

3、InternLM2的体系

        为了服务多样性的需求,InternLM2提供了多种模型版本来方便后续的开发。

4、InternLM2的主要亮点

        InternLM2大模型在各项能力维度上都有着明显的进步,尤其是在推理、数学、代码等方面有着显著的提升,其综合性能已在同量级的开源中处于领先地位。

        其中的InternLM2-Chat-20B在重点能力的评测上甚至与GPT-3.5的水平相当。

5、模型到应用的典型流程

6、全链路开源开放体系

(1)、工具体系

(2)、高质量数据

(3)、预训练框架

(4)、微调框架

(5)、评测体系

        多样化的评测体系向使用者提供了更加全面更加客观的认识。

二、InternLM2技术报告

来源:https://arxiv.org/pdf/2403.17297.pdf

        结论,本篇报告展示了开源大语言模型InternLM2,以及它在6个维度和30个基准的全面评估中的出色表现。InternLM2 的预训练过程非常详细,突出了各种数据类型的准备,包括文本、代码和长上下文数据。InternLM2在200k“大海捞针”测试中表现出出色的性能。InternLM2 使用 SFT 和 COOL RLHF 策略进一步调整,解决了人类偏好对齐和奖励剥削等问题。通过发布在不同的训练阶段的InternLM2 模型,提供了对模型演变的新理解。

  • 17
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值