深度学习发展史

本文从4个方面（张量、生成模型、序列学习、深度强化学习）追踪深度学习几十年的发展史。

主要按最早研究出现的时间，从4个方面来追踪深度学习的发展史。

1、张量

1958年Frank提出感知机，但后来被一些学者发现因算力的不足，制约了较大神经网络的计算，导致很长时间发展缓慢。

Fukushima在1979年左右提出Neocognitron，感觉这是卷积和池化的雏形。

Hinton在1986年提出反向传播的思想和多层感知机（BPNN/MLP），有非常大的意义，对未来几十年（可以说直到现在）影响深远。

接下来比较重要的发展是，LeCun在1998年提出LeNet-5，7层的CNN做数字识别。

然后AlexNet在12年在ImageNet夺冠，主要是CNN+Dropout+Relu，又是Hinton极大的带动了DL的发展，大佬的地位毋庸置疑。另外相似的还有15年的GoogLeNet。

总算有华人大佬作出大贡献了，16年何恺明（CV领域应该无人不知）提出Resnet，还拿了best paper，影响较大，当然效果也很好。另外相似的还有17年的DenseNet。

17年Capsule Network登场了，又是Hinton。我比较看好胶囊网络在NLP领域的发展，虽然现在还没太明显的效果。因为用胶囊网络来做文本的特征表示的话，可以极大的丰富特征，更适合处理文本这种比较灵活的数据。

 

2 、生成模型</