【AI周报】2021图灵奖揭晓;字节开源veGiantModel;阿里开源EPL;谷歌AI框架Pathways论文放出

2021年的图灵奖授予了高性能计算先驱Jack Dongarra,以表彰他在数值算法和工具库的贡献。谷歌Pathways论文发布,提出通用AI架构解决低效问题。字节跳动开源大模型训练框架veGiantModel,性能最高提升6.9倍。阿里开源EPL,支持10万亿模型的分布式训练。
摘要由CSDN通过智能技术生成

01 行业大事件

2021图灵奖揭晓:

高性能计算先驱、超算TOP500榜单创始人之一Jack Dongarra获奖

他曾说过:未来的计算架构会是 CPU 和 GPU 的结合。

守了一天,终于揭晓!

刚刚,2021 图灵奖公布。ACM 官方宣布 2021 年的图灵奖授予美国田纳西大学电气工程和计算机科学杰出教授,现年 71 岁的 Jack Dongarra,以表彰他对数值算法和工具库的开创性贡献,其使得高性能计算软件能够跟上四十多年来的指数级硬件改进。

Dongarra 的算法和软件推动了高性能计算(HPC)的发展,并在从人工智能到计算机图形学的许多计算科学领域产生了重大影响。由于他的软件被用做超级计算机性能测评标准,并且由此诞生了超级计算机 TOP500 排行榜。

谷歌下一代AI架构、Jeff Dean宣传大半年的Pathways终于有论文了

「当前的 AI 模型只做一件事。Pathways 使我们能够训练一个模型,做成千上万件事情。」

在谈及当前的 AI 系统所面临的问题时,低效是经常被提及的一个。

谷歌人工智能主管 Jeff Dean 曾在一篇博文中写道,「今天的人工智能系统总是从头开始学习新问题 —— 数学模型的参数从随机数开始。就像每次学习一项新技能(例如跳绳),你总会忘记之前所学的一切,包括如何平衡、如何跳跃、如何协调手的运动等,然后从无到有重新学习。这或多或少是我们今天训练大多数机器学习模型的方式:我们不是扩展现有模型来学习新任务,而是从无到有训练新模型来做一件事(或者我们有时将通用模型专门用于特定任务)。结果是我们最终为数千个单独的任务开发了数千个模型。以这种方式学习每项新任务不仅需要更长的时间,而且还需要更多的数据。」

为了改变这种局面,Jeff Dean 等人去年提出了一种名叫「Pathways」的通用 AI 架构。他介绍说,Pathways 旨在用一个架构同时处理多项任务,并且拥有快速学习新任务、更好地理解世界的能力。

该架构的特点可以概括为:

  • 能够训练一个模型来做成千上万件事情;

  • 当前模型只注重一种感官,Pathways 可做到多种;

  • 当前模型密集且效率低下,Pathways 会把模型变得稀疏而高效。

  • 在发布想法大半年之后,Jeff Dean 终于公布了 Pathways 的论文,其中包含很多技术细节。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值