340B险胜70B,Kimi机器人贴脸“嘲讽”英伟达新开源模型

一水 发自 凹非寺
量子位 | 公众号 QbitAI

排名超过Llama-3-70B,英伟达Nemotron-4 340B问鼎竞技场最强开源模型!

前两天,英伟达突然开源了其通用大模型Nemotron的3400亿参数版本。

就在最近,竞技场更新了排名情况:

f73ff54622da19b4ec759f4282205a90.jpeg

胜率热图显示,Nemotron-4 340B对阵Llama-3-70B的胜率为53%

ac41da8715dc654e641a05e632f95e2d.jpeg

究竟Nemotron-4 340B表现如何?接下来一起看看。

新模型最新战绩

简单回顾一下,英伟达上周五突然宣布开源Nemotron-4 340B,该系列包括基础模型、指令模型和奖励模型,用于生成训练和改进LLM的合成数据。

Nemotron-4 340B一经发布便瞬时登顶Hugging Face RewardBench 榜一

35919ea8d2542ff6d151feea96539db2.png

紧接着,竞技场新近公布了Nemotron-4 340B的一系列测评结果。

长文本查询(长度>=500个token)中,Nemotron-4 340B排在第5位,超过Claude 3 Sonnet及Qwen 2-72B等主流开源模型。

9f0fa815786499cd0075642fd84a6641.jpeg

处理硬提示方面,Nemotron-4 340B超越了Claude 3 Sonnet和Llama3 70B-Instruct,显示出其在应对复杂和高难度查询时的卓越能力。

97481cbd9e370f0923ba4228dfbdfe7e.jpeg

整体性能评估中,Nemotron-4 340B的评分和稳定性均处于中上水平,超越了多款知名开源模型。

9ff07c835b7362c5e8ae0e3ec6ad5007.jpeg

概括一下,Nemotron-4 340B已经取得了不错的战绩,直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2,有时甚至可以和GPT-4一较高下。

其实,以前这个模型就曾登上大模型竞技场LMSys Chatbot Arena,当时它的别名是june-chatbot

59bcc6ea23edbd0c851622a2beedb506.png

具体来说,这个模型支持4K上下文窗口、50多种自然语言和40多种编程语言,训练数据截止到2023年6月。

训练数据方面,英伟达采用了高达9万亿个token。其中,8万亿用于预训练,1万亿用于继续训练以提高质量。

BF16精度下,模型的推理需要8块H200,或16块H100/A100 80GB。如果是在FP8精度下,则只需8块H100。

c64357536966891a26113de859946f23.png

值得一提的是,指令模型的训练是在98%的合成数据上完成的。

而合成数据无疑是Nemotron-4 340B的最大亮点,它有可能彻底改变训练LLM的方式。

合成数据才是未来

面对最新排名,兴奋的网友们突然咂摸出一丝不对劲:

用340B对战70B,而且还是险胜,这事儿有点说不过去吧!

d2bbccc540744beb83686b1e7b13083d.png

就连机器人Kimi也对此开启了“嘲讽”模式:

英伟达这波操作,参数大得像宇宙,性能却跟Llama-3-70B肩并肩,科技界的”大号小能”啊!

1da30e2735d51769f91246c5f8314572.jpeg

对此,在英伟达负责AI模型对齐和定制的Oleksii Kuchaiev拿出了关键法宝:

c1e4db37bfdac2396c7d6de7c86cc1ab.png

是的,Nemotron-4 340B商用友好,支持生成合成数据

高级深度学习研究工程师Somshubra Majumdar对此表示大赞:

你可以用它(免费)生成你想要的所有数据

0a76f5ebfa3499539c1d3b91f06548fe.png

这一突破性进展,标志着AI行业的一个重要里程碑——

从此,各行各业都无需依赖大量昂贵的真实世界数据集了,用合成数据,就可以创建性能强大的特定领域LLM!

那么,英伟达具体是如何实现的呢?

一句话概括,这与它开源通常不发布的奖励模型有关。

bcbaa29d5b932b84148830a27043195c.png

生成高质量合成数据不仅需要优秀的指导模型,还需根据特定需求进行数据筛选。

通常,使用同一模型作为评分者(LLM-as-Judge);但在特定情况下,采用专门的奖励模型(Reward-Model-as-Judge)进行评估更为合适。

而Nemotron-4 340B指令模型可以生成高质量的数据,然后奖励模型可以过滤掉多个属性的数据。

它会根据有用性、正确性、一致性、复杂性和冗长性这5个属性,对响应评分。

2dccd7455ad39128c5d636b2e91670bf.png

另外,研究者可以使用自己的专用数据,再结合HelpSteer2数据集,定制Nemotron-4 340B基础模型,以创建自己的指令或奖励模型。

回到一开头和Llama-3-70B的对战,Nemotron-4 340B拥有更宽松的许可,或许这才是它的真正价值所在。

毕竟数据短缺早已成为业内普遍痛点。

a0c89483e7000210e26a41a1b702e7e3.png

据Epoch研究所的AI研究员Pablo Villalobos预测,到2024年年中,对高质量数据的需求超过供给的可能性为50%,到2026年发生这种情况的可能性为90%。

新的预期显示,这种短缺风险将延迟至2028年。

合成数据才是未来正逐渐成为行业共识……

模型地址:
https://huggingface.co/nvidia/Nemotron-4-340B-Instruct

参考链接:
[1]https://x.com/abrichr/status/1802510103557382341
[2]https://x.com/omarsar0/status/1802024352851878296
[3]https://x.com/lmsysorg/status/1802836187511713933
[4]https://x.com/reach_vb/status/1801907371507097622

量子位年度AI主题策划正在征集中!

欢迎投稿专题 一千零一个AI应365行AI落地方案

或与我们分享你在寻找的AI产品,或发现的AI新动向

3fe0965f93189229619b9e7e387f0242.png

点这里👇关注我,记得标星哦~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值