图灵奖得主Hinton最新演讲：深度学习如何继续革命？

深度学习从何而来？又该向哪去？

近日，图灵奖得主、深度学习巨头Geoffrey Hinton在ACM FCRC 2019上发表了精彩演讲。

官网地址：

https://fcrc.acm.org/about/about-fcrc

二人分别在大会上做了题为《深度学习革命》和《深度学习革命：续集》的精彩演讲。目前视频已经公开：

https://www.youtube.com/watch?v=VsnQf7exv5I

演讲内容如下

Geoffrey Hinton：《深度学习革命》

Geoffrey Hinton

Hinton表示，自从20世纪50年代开始，人工智能存在两种范式：分别是逻辑启发的方法和生物学启发的方法。

• 逻辑启发的方法(The logic-inspired approach)：智能的本质是使用符号规则来操纵符号表达。我们应该专注于推理。

• 生物学启发的方法(The biologically-inspired approach)：智能的本质是学习神经网络中连接的优势。我们应该专注于学习和感知。

不同的范式便使得最终的目标有所不同。因此，在内部表示(internal representation)方面也存在着两种观点：

• 内部表示是符号表达式。程序员可以用一种明确的语言把它们交给计算机；可以通过对现有表示应用规则派生新的表示。

• 内部表示与语言完全不同。它们是神经活动的向量(big vectors)；它们对神经活动的其他载体有直接的因果影响；这些向量是从数据中学到的。

由此也导致了两种让计算机完成任务的方式。

• 首先是智能设计：有意识地精确计算出你将如何操纵符号表示来执行任务，然后极其详细地告诉计算机具体要做什么。

• 其次是学习：向计算机展示大量输入和所需输出的例子。让计算机学习如何使用通用的学习程序将输入映射到输出。

Hinton举了一个例子：人们花了50年的时间，用符号型人工智能(symbolic AI)来完成的任务就是“看图说话”。

针对这项任务，人们尝试了很长时间来编写相应的代码，即便采用神经网络的方法依旧尝试了很长一段时间。最终，这项任务得到很好解决的方法竟然是基于纯学习的方法。

因此，对于神经网络而言，存在如下的核心问题：

包含数百万权重和多层非线性神经元的大型神经网络是非常强大的计算设备。但神经网络能否从随机权重开始，并从训练数据中获取所有知识，从而学习一项困难的任务(比如物体识别或机器翻译)？

 

针对这项问题，前人们付出了不少的努力：

针对如何训练人工神经网络，Hinton认为分为两大方法，分别是监督训练和无监督训练。

• 监督训练：向网络显示一个输入向量，并告诉它正确的输出；调整权重，减少正确输出与实际输出之间的差异。

• 无监督训练：仅向网络显示输入；调整权重，以便更好地从隐含神经元的活动中重建输入(或部分输入)。

而反向传播(backpropagation algorithm)只是计算权重变化如何影响输出错误的一种有效方法。不是一次一个地扰动权重并测量效果，而是使用微积分同时计算所有权重的误差梯度。

当有一百万个权重时，反向传播方法要比变异方法效率高出一百万倍。

然而，反向传播算法却又让人感到失望。

在20世纪90年代，虽然反向传播算法的效果还算不错，但并没有达到人们所期待的那样——深度网络训练非常困难；在中等规模的数据集上，一些其他机器学习方法甚至比反向传播更有效。

符号型人工智能的研究人员称，期望在大型深层神经网络中学习困难的任务是愚蠢的，因为这些网络从随机连接开始，且没有先验知识。

Hinton举了三个非常荒诞的理论：

而后，深度学习开始被各种拒绝：

• 2007年：NIPS program committee拒绝了Hinton等人的一篇关于深度学习的论文。因为他们已经接收了一篇关于深度学习的论文，而同一主题的两篇论文就会“显得过多”。

• 2009年：一位评审员告诉Yoshua Bengio，有关神经网络的论文在ICML中没有地位。

• 2010年：一位CVPR评审员拒绝了Yann LeCun的论文，尽管它击败了最先进的论文。审稿人说它没有告诉我们任何关于计算机视觉的信息，因为一切都是“学到的”。

而在2005年至2009年期间，研究人员(在加拿大!)取得了几项技术进步，才使反向传播能够更好地在前馈网络中工作。

到了2012年，ImageNet对象识别挑战赛(ImageNet object recognition challenge)有大约100万张从网上拍摄的高分辨率训练图像。

来自世界各地的领先计算机视觉小组在该数据集上尝试了一些当时最好的计算机视觉方法。其结果如下：

这次比赛的结果后，计算机视觉相关的组委会们才突然发觉原来深度学习是有用的！

Hinton在演讲中讨论了一种全新的机器翻译方式。

对于每种语言，我们都有一个编码器神经网络和一个解码器神经网络。编码器按原句中的单词顺序读取(它最后的隐藏状态代表了句子所表达的思想)。而解码器用目标语言表达思想。

自2014年年以来，神经网络机器翻译得了很大的发展。

接下来，Hinton谈到了神经网络视觉的未来。

他认为卷积神经网络获得了巨大的胜利，因为它若是在一个地方能行得通，在其它地方也能使用。但它们识别物体的方式与我们不同，因此是对抗的例子。

人们通过使用对象的坐标系与其部分的坐标系之间的视点不变几何关系来识别对象。Hinton认为神经网络也能做到这一点(参考链接：arxiv.org/abs/1906.06818)。

那么，神经网络的未来又是什么呢？

Hinton认为：

几乎所有人工神经网络只使用两个时间尺度：对权重的缓慢适应和神经活动的快速变化。但是突触在多个不同的时间尺度上适应。它可以使快速权重(fast weight)进行short-term memory将使神经网络变得更好，可以改善优化、可以允许真正的递归。

本文转自公众号新智元

转载此文出于传递更多信息之目的，如有侵权，请联系小编删除

长按二维码，关注我们

新睿云，让云服务触手可及

云主机｜云存储｜云数据库｜云网络

点击“阅读原文”参与活动