深度学习还没入门？看看深度学习三巨头的Deep Learning综述(1)

深度学习还没入门？看看深度学习三巨头的Deep Learning综述(1)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(2)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(3)
深度学习还没入门？看看深度学习三巨头的Deep Learning综述(4)

前言

深度学习三巨头Yann LeCun(扬.勒丘恩)、Yoshua Bengio(约书亚.本吉奥)、Geoffrey Hinton(杰弗里.辛顿)曾在Nature上共同发表了一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。

为纪念人工智能提出60周年，三位大神首次合作了这篇综述性文章“Deep Learning”，发表于Nature。 作为该领域的开创性先驱和领头人， 对截至2015年的深度学习的发展、状态及未来做了系统性梳理和总结。

本文是笔者自己阅读这篇经典论文时的笔记，不妥之处还望批评指正。

论文下载地址

摘要

深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉目标识别、目标检测和许多其他领域（如药物发现和基因组学）的当前最高水平。深度学习通过使用反向传播算法来发现大型数据集中的复杂结构，以指示机器应如何更改其内部参数，这些参数用于根据前一层的表示来计算每一层的表示。 深度卷积网络在处理图像、视频、语音和音频方面带来了突破，而递归网络则在文本和语音等序列数据上有所体现。

state-of-the-art 最先进的；最高水平
backpropagation algorithm 反向传播算法
intricate 错综复杂的
Deep convolutional nets 深度卷积网络

正文

机器学习技术为现代社会的许多方面提供动力：从网络搜索到社交网络上的内容过滤，再到电子商务网站上的推荐，它越来越多地出现在相机和智能手机等消费产品中。 机器学习系统用于识别图像中的对象，将语音转录为文本，将新闻、帖子或产品与用户的兴趣相匹配，并选择相关的搜索结果。 这些应用程序越来越多地使用称为深度学习的一类技术。

传统的机器学习技术在处理原始形式的自然数据的能力方面受到限制。 几十年来，构建模式识别或机器学习系统需要仔细的工程和大量的领域专业知识来设计一个特征提取器，将原始数据（例如图像的像素值）转换为合适的内部表示或特征向量，从中提取学习子系统（通常是分类器）可以检测或分类输入中的模式。

表示学习是一组方法，允许机器输入原始数据，并自动发现检测或分类所需的表示。深度学习方法是具有多个表示层次的表示学习方法，通过组成简单但非线性的模块来实现，每个模块将一个层次的表示（从原始输入开始）转换为更高、更抽象的层次的表示。通过组合足够多的此类转换，可以学习非常复杂的函数。对于分类任务，更高层次的表示会放大输入中对区分很重要的方面，并抑制不相关的变化。例如，图像以像素值阵列的形式出现，并且第一层表示中的学习特征通常表示图像中特定方向和位置的边缘的存在或不存在。第二层通常通过发现边缘的特定排列来检测基序，而不考虑边缘位置的微小变化。第三层可以将图案组合成与熟悉对象的部分相对应的较大组合，随后的层将检测对象作为这些部分的组合。深度学习的关键在于，这些特征层不是由人类工程师设计的：它们是使用通用学习程序从数据中学习的。

深度学习在解决多年来阻碍人工智能社区最佳尝试的问题方面取得了重大进展。事实证明，它非常善于发现高维数据中的复杂结构，因此适用于科学、商业和政府的许多领域。除了在图像识别和语音识别方面打破记录外，它还在预测潜在药物分子的活性、分析粒子加速器数据、重建大脑回路以及预测非编码DNA突变对基因表达和疾病的影响方面击败了其他机器学习技术。也许更令人惊讶的是，深度学习在自然语言理解的各种任务中产生了非常有希望的结果，特别是主题分类、情感分析、问答和语言翻译。

我们认为，在不久的将来，深度学习将取得更多的成功，因为它只需要很少的手工工程，因此它可以很容易地利用可用计算和数据量的增加。目前正在为深度神经网络开发的新学习算法和体系结构只会加速这一进程。

未完待续~~