01 行业大事件
2021图灵奖揭晓:
高性能计算先驱、超算TOP500榜单创始人之一Jack Dongarra获奖
他曾说过:未来的计算架构会是 CPU 和 GPU 的结合。
守了一天,终于揭晓!
刚刚,2021 图灵奖公布。ACM 官方宣布 2021 年的图灵奖授予美国田纳西大学电气工程和计算机科学杰出教授,现年 71 岁的 Jack Dongarra,以表彰他对数值算法和工具库的开创性贡献,其使得高性能计算软件能够跟上四十多年来的指数级硬件改进。
Dongarra 的算法和软件推动了高性能计算(HPC)的发展,并在从人工智能到计算机图形学的许多计算科学领域产生了重大影响。由于他的软件被用做超级计算机性能测评标准,并且由此诞生了超级计算机 TOP500 排行榜。
谷歌下一代AI架构、Jeff Dean宣传大半年的Pathways终于有论文了
「当前的 AI 模型只做一件事。Pathways 使我们能够训练一个模型,做成千上万件事情。」
在谈及当前的 AI 系统所面临的问题时,低效是经常被提及的一个。
谷歌人工智能主管 Jeff Dean 曾在一篇博文中写道,「今天的人工智能系统总是从头开始学习新问题 —— 数学模型的参数从随机数开始。就像每次学习一项新技能(例如跳绳),你总会忘记之前所学的一切,包括如何平衡、如何跳跃、如何协调手的运动等,然后从无到有重新学习。这或多或少是我们今天训练大多数机器学习模型的方式:我们不是扩展现有模型来学习新任务,而是从无到有训练新模型来做一件事(或者我们有时将通用模型专门用于特定任务)。结果是我们最终为数千个单独的任务开发了数千个模型。以这种方式学习每项新任务不仅需要更长的时间,而且还需要更多的数据。」
为了改变这种局面,Jeff Dean 等人去年提出了一种名叫「Pathways」的通用 AI 架构。他介绍说,Pathways 旨在用一个架构同时处理多项任务,并且拥有快速学习新任务、更好地理解世界的能力。
该架构的特点可以概括为:
-
能够训练一个模型来做成千上万件事情;
-
当前模型只注重一种感官,Pathways 可做到多种;
-
当前模型密集且效率低下,Pathways 会把模型变得稀疏而高效。
-
在发布想法大半年之后,Jeff Dean 终于公布了 Pathways 的论文,其中包含很多技术细节。