MIT DeepLearning学习总结

     Deep Learning是一本MIT由Ian Goodfellow，Yoshua Bengio and Aaron Courville编写的深度学习教程（英文版链接及中文版下载），全书的高层组织结构的流程图如下：

图1  全书的结构

    这本书被组织为三个部分，第一部分介绍基本的数学工具和机器学习的概念。第二部分介绍本质上已解决的技术、最成熟的深度学习算法。第三部分介绍被广泛认为是深度学习未来研究重点的但更具猜测性的想法。

一、前言

    现代深度学习的最早前身是从神经科学的角度出发的简单线性模型。这些模型被设计为使用一组n 个输入x1,x2,···, xn 并将它们与一个输出y相关联。这些模型将学习一组权重w1,w2,···, wn 并计算它们的输出f(x; w) = x1w1 + ··· + xnwn。这是第一次神经网络研究的浪潮被称为控制论。在20世纪80年代，神经网络研究的第二次浪潮在很大程度上是伴随一个被称为连接机制(connectionism) 或并行分布处理( parallel distributed processing) ，连接机制的中心思想是，当网络将大量简单计算单元连接在一起时可以实现智能行为，其中一个概念是分布式表示(distributed representation)(Hinton et al., 1986)。这一想法是系统每个的输入应该由许多特征表示的，并且每个特征应参与许多可能输入的表示。例如，假设我们有一个能够识别红色、绿色、或蓝色的汽车、卡车和鸟类的视觉系统。表示这些输入的其中一个方法是将九个可能的组合：红卡车，红汽车，红鸟，绿卡车等等使用单独的神经元或隐藏单元激活。这需要九个不同的神经元，并且每个神经必须独立地学习颜色和对象份的概念。改善这种情况的方法之一是使用分布式表示，即用三个神经元描述颜色，三个神经元描述对象身份。这仅仅需要6个神经元而不是9个，并且描述红色的神经元能够从汽车、卡车和鸟类的图像中学习红色，而不仅仅是从一个特定类别的图像中学习。分布式表示的概念是这本书的核心思想。链接机制的另一个重要成就是反向传播算法的成功运用（训练具有内部表示的深度神经网络）和普及(Rumelhart et al., 1986c; LeCun, 1987)。神经网络研究的第三次浪潮始于2006 年的突破。Geoffrey Hinton表明名深层神经网络可以使用一种称为贪心逐层训练的策略进行有效地训练(Hinton et al., 2006a)，第三次浪潮开始把重点放在新的无监督学习技术和从小数据集进行泛化的能力，但目前更多的注意点是在更古老的监督学习算法和深度模型充分利用大型标注数据集的能力。

    与日俱增的数据集规模，每神经元连接数目、神经网络规模：

1. 自适应线性单元(Widrow and Hoff, 1960) 2. 神经认知机(Fukushima, 1980) 3. GPU-加速卷积网络(Chellapilla et al., 2006) 4. 深度玻尔兹曼机(Salakhutdinov and Hinton, 2009a) 5. 无监督卷积网络(Jarrett et al., 2009b)

6. GPU-加速多层感知机(Ciresan et al., 2010) 7. 分布式自动编码器(Le et al., 2012) 8. Multi-GPU 卷积网络(Krizhevsky et al., 2012a) 9. COTS HPC 无监督卷积网络(Coates et al., 2013) 10. GoogLeNet (Szegedy et al., 2014a)

1. 感知机(Rosenblatt, 1958, 1962) 2. 自适应线性单元(Widrow and Hoff, 1960) 3. 神经认知机(Fukushima, 1980) 4. 早期后向传播网络(Rumelhart et al., 1986b) 5. 用于语音识别的循环神经网络(Robinson and Fallside, 1991) 6. 用于语音识别的多层感知机(Bengio et al., 1991) 7. 均匀场sigmoid信念网络(Saul et al., 1996) 8. LeNet-5 (LeCun et al., 1998b) 9. 回声状态网络(Jaeger and Haas, 2004) 10. 深度信念网络(Hinton et al., 2006a) 11. GPU-加速卷积网络(Chellapilla et al., 2006) 12. 深度玻尔兹曼机(Salakhutdinov and Hinton, 2009a) 13. GPU-加速深度信念网络(Raina et al., 2009a) 14. 无监督卷积网络(Jarrett et al., 2009b) 15. GPU-加速多层感知机(Ciresan et al., 2010) 16. OMP-1 网络(Coates and Ng, 2011) 17. 分布式自动编码器(Le et al., 2012) 18. Multi-GPU卷积网络(Krizhevsky et al., 2012a) 19. COTS HPC 无监督卷积网络(Coates et al., 2013) 20. GoogLeNet (Szegedy et al., 2014a)

           深度网络在行人检测和图像分割中也有引人注目的成功(Sermanet et al., 2013;Farabet et al., 2013; Couprie et al., 2013)，在交通标志分类上取得了超越人类的表现(Ciresan et al., 2012)。Goodfellow et al. (2014d) 表明，神经网络可以学习输出描述图像的整个字符序列，而不是仅仅识别单个对象。循环神经网络，如之前提到的LSTM序列模型，现在用于建模序列和其他序列之间的关系，而不是仅仅固定输入之间的关系。这个序列到序列的学习似乎处于另一个应用演进的浪潮之巅：机器翻译(Sutskeveret al., 2014; Bahdanau et al., 2015)。日益复杂的趋势已将其推向逻辑结论，即神经图灵机(Graves et al., 2014) 的引入，它能学习读取存储单元和向存储单元写入任意内容。这样的神经网络可以从期望行为的样例中学习简单的程序。例如，从杂乱和排好序的样例中学习对一系列数进行排序。这种自我编程技术正处于起步阶段，但原则上未来可以适用于几乎所有的任务。深度学习的另一个成就是在强化学习(reinforcement learning) 领域的扩展。在强化学习的背景下，一个自主体必须通过试错来学习执行任务，而无需人类操作者的任何指导。DeepMind 表明，基于深度学习的强化学习系统能够学会玩Atari 视频游戏，并在多种任务中可与人类匹敌(Mnih et al., 2015)。深度学习也显著改善了机器人强化学习的性能(Finn et al., 2015)。

    深度学习的进步也严重依赖于软件基础架构的进展。软件库如Theano(Bergstraet al., 2010a; Bastien et al., 2012a)、PyLearn2(Goodfellow et al., 2013e)、Torch(Collobertet al., 2011b)、DistBelief(Dean et al., 2012)、Caffe(Jia, 2013)、MXNet(Chen et al.,2015) 和TensorFlow(Abadi et al., 2015) 都能支持重要的研究项目或商业产品。

下面是在学习这本书的过程中总结的部分PPT

第五章：机器学习基础

    https://wenku.baidu.com/view/81d95800abea998fcc22bcd126fff705cc175c76

第十三章：线性因子模型

    https://wenku.baidu.com/view/301d7a29a55177232f60ddccda38376baf1fe027

第十五章：表示学习

    https://wenku.baidu.com/view/7e6a6c5326d3240c844769eae009581b6bd9bd07

概率PCA及因子分析

    https://wenku.baidu.com/view/a9d887b0fbb069dc5022aaea998fcc22bdd14351

生成式对抗网络（GAN）

    https://wenku.baidu.com/view/de12033e58eef8c75fbfc77da26925c52cc591c2

R-CNN系列改进算法

    https://wenku.baidu.com/view/cb977f29f68a6529647d27284b73f242336c31df