“深度学习”这十年：52篇大神级论文再现AI荣与光

随着2020年的到来，人类进入了一个崭新的十年。回顾过去10年，深度学习领域取得的巨大进步。随着计算能力的不断提高和大数据可用性的不断提高，深度学习已经成功地解决了许多以前难以解决的问题，特别是在计算机视觉和自然语言处理领域。深度学习也开始在现实世界中应用，从自动驾驶汽车和医学成像到虚拟助手和deepfake，或多或少都在影响我们。

今天和大家分享的这篇文章概述了过去十年中一些最有影响力的深度学习论文，受到了reddit网友们的高赞。

2011年：Yoshua Bengio等人提出ReLU激活函数，为更深层次网络铺平了道路

Deep Sparse Rectifier Neural Networks (被引4071次)

ReLU和Softplus

Yoshua Bengio等人的这篇论文提出了ReLU激活函数，ReLU激活函数的表现能力比tanh激活函数的更加好，训练完毕的神经网络具有一定的稀疏性。本文发现，使用ReLU有助于解决梯度消失的问题，并为更深层次的网络铺平了道路。

2011年其他重要论文：

• Rectifier Nonlinearities Improve Neural Network Acoustic Models

• Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)

• Self-Normalizing Neural Networks

• Gaussian Error Linear Units (GELUs)

2012年：Hinton指导，AlexNet轰动一时

ImageNet Classification with Deep Convolutional Neural Networks (被引52025次)

AlexNet体系结构

2012 年，在Hinton的指导下，Alex Krizhevsky和Sutskever 合作开发了轰动一时的AlexNet。这篇题为ImageNet Classification with Deep Convolutional Neural Networks的论文，引用量超50000次。

AlexNet以一种新颖的神经网络架构在NeurIPS亮相，包含五个卷积层和三个全连接层。这篇论文被广泛认为是一项真正的开创性工作，因为它首次证明了在GPU上训练的深度神经网络可以将图像识别任务提升到一个新的水平。

AlexNet网络对神经网络的发展产生了非常重要的影响，之后的ImageNet冠军全都采用了卷积神经网络结构，使得CNN架构成为图像分类的核心模型，并由此开启了深度学习新一波浪潮，其使用的卷积＋池化＋全连接的架构仍然是当前深度学习最主要的网络结构。

2012年其他重要论文：

ImageNet层次结构中的图像示例

• ImageNet: A Large-Scale Hierarchical Image Database

• Flexible, High Performance Convolutional Neural Networks for Image Classification

• Gradient-Based Learning Applied to Document Recognition

2013年：DQN打响DRL的第一枪

Distributed Representations of Words and Phrases and their Compositionality (被引16923次)