神经网络

1. 深度神经网络DNN

1.1 概念来源

1.1.1 起源

​ 神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。

​ 但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的“异或”操作）。

1.1.2 发展

​ 随着数学的发展，直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明了多层感知机，多层感知机，就是有多个隐含层的感知机。多层感知机可以

​ 多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。这时候，产生了神经网络的概念。神经网络的层数直接决定了它对现实的刻画能力。

​ 随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加，“梯度消失”现象更加严重。

1.1.3 形成

​ 2006年，Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层[2]，神经网络真正意义上有了“深度”，由此揭开了深度学习的热潮。这里的“深度”并没有固定的定义——在语音识别中4层网络就能够被认为是“较深的”，而在图像识别中20层以上的网络屡见不鲜。为了克服梯度消失，ReLU、maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式。单从结构上来说，DNN和多层感知机是没有任何区别的。

​ 值得一提的是，之后出现的高速公路网络（highway network）和深度残差学习（deep residual learning）进一步避免了梯度消失，网络层数达到了前所未有的一百多层（深度残差学习：152层）

1.2 典型网络模型

1.2.1 Stacked Auto-Encoder堆叠自编码器

​ 堆叠自编码器是一种最基础的深度学习模型，该模型的子网络结构自编码器通过假设输出与输入是相同的来训练调整网络参数，得到每一层中的权重。通过堆叠多层自编码网络可以得到输入信号的几种不同表征（每一层代表一种表征），这些表征就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自编码器就必须捕捉可以代表输入数据的最重要的因素，就像PCA(主成分分析)那样，找到可以代表原信息的主要成分。

1.2.1.1 网络结构

​ 堆叠自编码器的网络结构本质上就是一种普通的多层神经网络结构。

!

图 自编码网络结构

1.2.1.2 训练过程

​ 堆叠自编码器与普通神经网络不同之处在于其训练过程，该网络结构训练主要分两步：非监督预训练和有监督微调训练。

（1）非监督预训练

​ 自编码器通过自学习得到原始数据的压缩和分布式表征，一般用于高层特征提取与数据非线性降维。结构上类似于一个典型的三层BP神经网络，由一个输入层，一个中间隐含层和一个输出层构成。但是，输出层与输入层的神经元个数相等，且训练样本集合的标签值为输入值，即无标签值。输入层到隐含层之间的映射称为编码（Encoder），隐含层到输出层之间的映射称为解码（Decoder）。非监督预训练自编码器的中间层为特征层，在训练好第一层特征层后，第二层和第一层的训练方式相同。我们将第一层输出的特征层当成第二层的输入层，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的特征层，也就是原输入信息的第二个表征。以此类推可以训练其他特征层。

（3）有监督微调训练

​ 经过上面的训练方法，可以得到一个多层的堆叠自编码器，每一层都会得到原始输入的不同的表达。到这里，这个堆叠自编码器还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。那么，为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如逻辑斯蒂回归、SVM等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）微调训练。

1.2.1.3 典型改进

（1）Sparse AutoEncoder稀疏自编码器

​ 在AutoEncoder的基础上加上L1的稀疏限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源）来减小过拟合的影响，我们就可以得到稀疏自编码器。

（2）Denoising AutoEncoders降噪自编码器

​ 降噪自动编码器是在自动编码器的基础上，训练数据加入噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因此，这就迫使编码器去学习输入信号的更加鲁棒的表达，这也是它的泛化能力比一般编码器强的原因。

1.2.1.4 模型优缺点

(1)优点：

（1）可以利用足够多的无标签数据进行模型预训练；

（2）具有较强的数据表征能力。

(2)缺点：

（1）因为是全连接网络，需要训练的参数较多，容易出现过拟合；深度模型容易出现梯度消散问题。

（2）要求输入数据具有平移不变性。

1.2.2、Deep belief network 深度信念网络

​ 2006年，Geoffrey Hinton提出深度信念网络（DBN）及其高效的学习算法，即Pre-training+Fine tuning，并发表于《Science》上，成为其后深度学习算法的主要框架。DBN是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。所以，我们不仅可以使用DBN识别特征、分类数据，还可以用它来生成数据。

1.2.2.1 网络结构

​ 深度信念网络（DBN）由若干层受限玻尔兹曼机（RBM）堆叠而成，上一层RBM的隐层作为下一层RBM的可见层。下面先介绍RBM，再介绍DBN。

（1） RBM

图2 RBM网络结构

​ 一个普通的RBM网络结构如上图所示，是一个双层模型，由m个可见层单元及n个隐层单元组成，其中，层内神经元无连接，层间神经元全连接，也就是说：在给定可见层状态时，隐层的激活状态条件独立，反之，当给定隐层状态时，可见层的激活状态条件独立。这保证了层内神经元之间的条件独立性，降低概率分布计算及训练的复杂度。RBM可以被视为一个无向图模型，可见层神经元与隐层神经元之间的连接权重是双向的，即可见层到隐层的连接权重为W，则隐层到可见层的连接权重为W’。除以上提及的参数外，RBM的参数还包括可见层偏置b及隐层偏置c。

​ RBM可见层和隐层单元所定义的分布可根据实际需要更换，包括：Binary单元、Gaussian单元、Rectified Linear单元等，这些不同单元的主要区别在于其激活函数不同。

（2） DBN

图3 DBN模型结构

​ DBN模型由若干层RBM堆叠而成，如果在训练集中有标签数据，那么最后一层RBM的可见层中既包含前一层RBM的隐层单元，也包含标签层单元。假设顶层RBM的可见层有500个神经元，训练数据的分类一共分成了10类，那么顶层RBM的可见层有510个显性神经元，对每一训练数据，相应的标签神经元被打开设为1，而其他的则被关闭设为0。

1.2.2.2 训练过程

​ DBN的训练包括Pre-training和Fine tuning两步，其中Pre-training过程相当于逐层训练每一个RBM，经过Pre-training的DBN已经可用于模拟训练数据，而为了进一步提高网络的判别性能， Fine tuning过程利用标签数据通过BP算法对网络参数进行微调。

（1） Pre-training

​ 如前面所说，DBN的Pre-training过程相当于逐层训练每一个RBM，因此进行Pre-training时直接使用RBM的训练算法。

（2） Fine tuning

​ 建立一个与DBN相同层数的神经网络，将Pre-training过程获得的网络参数赋给此神经网络，作为其参数的初始值，然后在最后一层后添加标签层，结合训练数据标签，利用BP算法微调整个网络参数，完成Fine tuning过程。

1.2.2.3 改进模型

​ DBN的变体比较多，它的改进主要集中于其组成“零件”RBM的改进，下面列举两种主要的变体。（这边的改进模型暂时没有深入研究，所以大概参考网上的内容）

（1） 卷积DBN（CDBN）

​ DBN并没有考虑到图像的二维结构信息，因为输入是简单的将一个图像矩阵转换为一维向量。而CDBN利用邻域像素的空域关系，通过一个称为卷积RBM（CRBM）的模型达到生成模型的变换不变性，而且可以容易得变换到高维图像。

（2） 条件RBM（Conditional RBM）

​ DBN并没有明确地处理对观察变量的时间联系的学习上，Conditional RBM通过考虑前一时刻的可见层单元变量作为附加的条件输入，以模拟序列数据，这种变体在语音信号处理领域应用较多。

1.2.2.4 典型优缺点

​ 对DBN优缺点的总结主要集中在生成模型与判别模型的优缺点总结上。

(1)优点：

（1）生成模型学习联合概率密度分布，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度；

（2）生成模型可以还原出条件概率分布，此时相当于判别模型，而判别模型无法得到联合分布，所以不能当成生成模型使用。

(2)缺点：

（1） 生成模型不关心不同类别之间的最优分类面到底在哪儿，所以用于分类问题时，分类精度可能没有判别模型高；

（2）由于生成模型学习的是数据的联合分布，因此在某种程度上学习问题的复杂性更高。

（3）要求输入数据具有平移不变性。

1.3 深度置信网络相关算法

1.3.1 涉及到的相关知识

1.3.1.1 sigmoid函数

​ 神经网络最常用的激活函数之一：

$sigmoid(x)=\frac{1}{1+e^{-x}}$

1.3.1.2 Bayes定理

​ 记P(A),P(B)分别表示事件A和事件B发生的概率，P(A|B)表示时间B发生的情况下A发生的概率，P（A，B）表示事件A,B同时发生的概率。则有：

$P(A|B) = \frac{P(A,B)}{P(B)},$

$P(A|B) = P(A)\frac{P(B|A)}{P(B)}$

​ 上式中，P(A)称为先验概率，P(A|B)称为后验概率。

1.3.1.3 二分图

​ 二分图又称二部图、双分图或偶图，是图论中的一种特殊模型。设$G=(V,E)$是一个无向图，如果顶点$V$可分割为两个互不相交的子集$V_1$和$V_2$，并且图中的每条边$(i,j)$所关联的两个顶点分别属于两个不同的顶点集，即$i\in V_1,j\in V_2$，或者$i\in V_2,j\in V_1$，则称图$G$是一个二分图

1.3.1.4 MCMC方法（蒙特卡罗方法）

​ 求一个已知分布的函数的积分$\int_a^bh(x)dx$，如果无法获得解析解，可以将函数分解为某个函数和一个定义在$(a,b)$区间上的密度函数$p(x)$的乘积，这样整个积分即可以写成

$int_a^bh(x)dx = \int_a^bf(x)p(x)dx = E_{p(x)}[f(x)]$

这样原积分机就等于$f(x)$在$p(x)$这个分布上的均值。从该分布上采集大量的样本点$x_1,x_2,x_3\dots$，这些分布符合分布$p(x)$，即对任意$i$，

$\frac{x_i}{\sum_{i=1}^{n}x_i} \approx p(x_i)$，

​ 那么我们就可以通过这些采样来逼近这个均值

∫bah(x)d(x)=E