深度学习（Deep Learning）综述及其延伸，入门必看！

1.1 读懂什么是DL

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

深度学习其实是一种机器学习的算法：神经网络，也就是一个复杂的 f函数了。它的特点是可以不断的叠加层数。每增加一层，其实也就是就多套了一层函数。我们之前的f(x; θ)变成了 f_0(f_1(f_2(…f_n(x:θ_n)…θ_2;θ_1); θ_0)，n为层数。

层数越多，模型的表达能力就越强。比如说2015年的ResNet它的层数多达152层。随着AlexNet2012年以来的出现，模型的层数越来越多，也越来越复杂，于是就叫深度学习了。同时深度学习的效果也越来越好，于是几乎所有领域的最前沿(state-of-art)的算法都变成深度学习方法了，也就变得越来越火了。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

★深度学习和机器学习在处理上的区别——
深度学习和一般机器学习方法最大的优势不需要进行特征工程，像房价预测还好说，对于图像以及文本这样复杂的数据，人工提取的特征方法就很受到局限性。

深度学习的缺点：
深度学习的效果虽然好，但是他的代价也很大，一个深度学习系统需要的训练数据通常都是巨大的，需要花费大量的代价标注数据。此外，深度学习需要的计算资源也是庞大的，前段时间自然语言处理领域的一个预训练模型XLNet的效果非常好，不过训练这个模型的成本就要花掉6万美金。

★ 注意：
在模型的使用中，深度学习方法如果不通过知识蒸馏等模型压缩的方法优化模型，预测也是很耗时且耗资源的。即使通过压缩，很多时候在性能上也无法满足需求。

1.2 DL介绍 from Wikipedia

定义：深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。

观测值（如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

表征学习又是什么？

表征学习的目标是寻求更好的表示方法并创建更好的模型来从大规模未标记数据中学习这些表示方法。表示方法来自神经科学，并松散地创建在类似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉动神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。

至今已有数种深度学习框架，如①深度神经网络、②卷积神经网络和③深度置信网络和④循环神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。
（在CV和语音识别中特别重要！）

不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也更容易获得。这一点也为深度学习赢得了重要的优势~

DL基本概念——
深度学习的基础是机器学习中的分散表示。分散表示 假定观测值是由不同因子相互作用生成。在此基础上，深度学习进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽象。不同的层数和层的规模可用于不同程度的抽象。深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概念学习得到。这一分层结构常常使用贪心算法逐层构建而成，并从中选取有助于机器学习的更有效的特征！

深度学习让人类探索人工智能更进一步了！

1.3 人工神经网络下的深度学习

一部分最成功的深度学习方法涉及到对人工神经网络的运用！
该方面的算法有非常非常多，详见维基百科，会给你讲很多历史。

截止2011年，前馈神经网络深度学习中最新的方法是交替使用卷积层（convolutional layers）和最大值池化层（max-pooling layers）并加入单纯的分类层作为顶端。训练过程也无需引入无监督的预训练！这一方法的GPU实现多次赢得了各类模式识别竞赛的胜利！这些深度学习算法也是最先在某些识别任务上达到和人类表现具备同等竞争力的算法···

1.4 三类最常用的深度学习方法

深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：

1. 基于卷积运算的神经网络系统，即卷积神经网络(CNN)。
2. 基于多层神经元的自编码神经网络，包括自编码以及近年来受到广泛关注的稀疏编码两类。
3. 以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。

通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”（feature learning）或“表示学习”（representation learning）。