Jeaf Dean万字长文回顾2020谷歌技术发展（上）

转载自：新智元
编辑：QJP，小匀

【导读】2021年已经度过十余天，谷歌Jeff Dean也在酝酿后在Google Blog发表了一篇万字长文，回顾了谷歌AI2020年的发展与成就，同时，也展望了接下来的工作重点。本文较长，分两部分编译，原文在文末链接查看。

Jeff Dean发了一篇几万字长文，回顾了这一年来谷歌在各个领域的成就与突破，并展望了2021年的工作目标。

本文为部分编译，参考链接可以查看原文。

当我20多年前加入谷歌的时候，只想弄清楚如何真正开始使用电脑在网络上提供高质量和全面的信息搜索服务。时间快进到今天，当面对更广泛的技术挑战时，我们仍然有着同样的总体目标，那就是组织全世界的信息，使其普遍可获取和有用。

2020年，随着世界被冠状病毒重塑，我们看到了技术可以帮助数十亿人更好地交流，理解世界和完成任务。我为我们所取得的成就感到骄傲，也为即将到来的新的可能性感到兴奋。

Google Research 的目标是解决一系列长期而又重大的问题，从预测冠状病毒疾病的传播，到设计算法、自动翻译越来越多的语言，再到减少机器学习模型中的偏见。基于我们对2016至2019年的年度回顾，本文涵盖了今年的关键亮点。

新冠病毒和健康

COVID-19的影响给人们的生活带来了巨大的损失，世界各地的研究人员和开发人员联合起来开发工具和技术，以帮助公共卫生官员和政策制定者理解和应对这场流行病。

苹果和谷歌在2020年合作开发了暴露通知系统(ENS) ，这是一种支持蓝牙的隐私保护技术，如果人们暴露在其他检测呈阳性的人群中，可以通知他们。

ENS 补充了传统的接触者追踪工作，并由50多个国家、州和地区的公共卫生当局部署，以帮助遏制感染的传播。

在流感大流行的早期，公共卫生官员表示，他们需要更全面的数据来对抗病毒的快速传播。我们的社区流动性报告，提供了对人口流动趋势的匿名追踪，不仅帮助研究人员了解政策的影响，如居家指令和社会距离，同时还进行了经济影响的预测。

我们自己的研究人员也探索了用这种匿名数据来预测COVID-19的传播，用图神经网络代替传统的基于时间序列的模型。

冠状病毒疾病搜索趋势症状允许研究人员探索时间或症状之间的联系，比如嗅觉缺失---- 嗅觉缺失有时是病毒的症状之一。为了进一步支持更广泛的研究社区，我们推出了谷歌健康研究应用程序，以提供公众参与研究的方式。

图：COVID-19搜索趋势正在帮助研究人员研究疾病传播和症状相关搜索之间的联系

谷歌的团队正在为更广泛的科学界提供工具和资源，这些科学界正在努力解决病毒对健康和经济的影响。

图：一个模拟新冠病毒扩散的时空图

我们还致力于帮助识别皮肤疾病，帮助检测老年黄斑变性(在美国和英国是导致失明的主要原因，在全世界是第三大致盲原因) ，以及潜在的新型非侵入性诊断(例如，能够从视网膜图像中检测出贫血的迹象)。

图：深度学习模型从视网膜图像中量化血红蛋白水平。血红蛋白水平是检测贫血的一项指标

今年，同样的技术如何可以窥视人类基因组，也带来了令人兴奋的演示。谷歌的开源工具DeepVariant，使用卷积神经网络基因组测序数据识别基因组变异，并在今年赢得了FDA的4个类别中的3个类别的最佳准确性的挑战。丹纳-法伯癌症研究所领导的一项研究使用同样的工具，在2367名癌症患者中，将导致前列腺癌和黑色素瘤的遗传变异的诊断率提高了14% 。

天气、环境和气候变化

机器学习能帮助我们更好地了解环境，并帮助人们在日常生活中以及在灾难情况下做出有用的预测。

对于天气和降水预报，像 NOAA 的 HRRR 这样基于计算物理的模型一直占据着主导地位。然而，我们已经能够证明，基于ML的预报系统能够以更好的空间分辨率预测当前的降水量(“西雅图的本地公园是不是在下雨? ”而不仅仅是“西雅图在下雨吗? ”)它能够产生长达8小时的短期预报，比 HRRR 准确得多，并且能够以更高的时间和空间分辨率更快地计算预报。

我们还开发了一种改进的技术，称为 HydroNets，它使用一个神经网络来建模真实的河流系统，以更准确地了解上游水位对下游洪水的相互作用，做出更准确的水位预测和洪水预报。利用这些技术，我们已经将印度和孟加拉国的洪水警报覆盖范围扩大了20倍，帮助在25万平方公里内更好地保护了2亿多人。

可访问性（Accessibility）

机器学习继续为提高可访问性提供了惊人的机会，因为它可以学会将一种感官输入转化为其他输入。举个例子，我们发布了 Lookout，一个 Android 应用程序，可以帮助视力受损的用户识别包装食品，无论是在杂货店还是在他们家的厨房橱柜里。

Lookout 背后的机器学习系统演示了一个功能强大但紧凑的机器学习模型，可以在有近200万个产品的手机上实时完成这一任务。

同样，使用手语交流的人很难使用视频会议系统，因为即使他们在手语，基于音频的扬声器检测系统也检测不到他们在主动说话。为视频会议开发实时自动手语检测，我们提出了一种实时手语检测模型，并演示了如何利用该模型为视频会议系统提供一种识别手语者为主动说话者的机制。

机器学习在其他领域的应用

2020年，我们与 FlyEM 团队合作，发布了果蝇半脑连接体，这是一种大型突触分辨率图谱的大脑连接，重建使用大规模机器学习模型应用于高分辨率电子显微镜成像的脑组织。这些连接体信息将帮助神经科学家进行各种各样的研究，帮助我们更好地理解大脑是如何运作的。

负责任的人工智能

为了更好地理解语言模型的行为，我们开发了语言可解释性工具(LIT) ，这是一个可以更好地解释语言模型的工具包，使得交互式探索和分析语言模型的决策成为可能。

我们开发了在预训练语言模型中测量性别相关性的技术，以及在谷歌翻译中减少性别偏见的可扩展技术。

为了帮助非专业人员解释机器学习结果，我们扩展了2019年引入的 TCAV 技术，现在提供了一套完整而充分的概念。我们可以说“毛”和“长耳朵”是“兔子”预测的重要概念。通过这项工作，我们还可以说，这两个概念足以充分解释预测; 您不需要任何其他概念。

概念瓶颈模型是一种技术，通过训练模型，使其中一层与预先定义的专家概念(例如，“骨刺呈现” ，或“翅膀颜色” ，如下所示)保持一致，然后再对任务做出最终预测，这样我们不仅可以解释这些概念，还可以动态地打开/关闭这些概念。

自然语言理解

更好地理解语言是我们今年看到相当大进展的一个领域。谷歌和其他公司在这个领域的大部分工作现在都依赖于transformer，这是一种特殊风格的神经网络模型，最初是为了解决语言问题而开发的(但是越来越多的证据表明，它们对图像、视频、语音、蛋白质折叠以及其他各种各样的领域也很有用)。

在2020年，我们描述了 Meena，一个对话机器人，可以聊任何事情。

参考链接：

https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

机器学习/深度学习算法/自然语言处理交流群

已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号：HIT_NLP。加的时候备注一下：知乎+学校+昵称（不加备注不会接受同意，望谅解），想进pytorch群，备注知乎+学校+昵称+Pytorch即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。

强烈推荐大家关注机器学习算法与自然语言处理账号和机器学习算法与自然语言处理微信公众号，可以快速了解到最新优质的干货资源。