深度学习结构

目前深度学习按照结构和技术应用的方式，可以把结构分为三类：

生成性深度结构

该结构描述数据的高阶相关特性，或观测数据和相应类别的联合概率分布。与传统区分型神经网络不同，可获取观测数据和标签的联合概率分布，这方便了先验概率和后验概率的估计，而区分型模型仅能对后验概率进行估计。论文Afast learning algorithm for deep learning中采用的深度信念网（DBN）就属于生成性深度结构。DBN解决传统BP算法训练多层神经网络的难题：1）需要大量含标签训练样本集；2）较慢的收敛速度；3）因不合适的参数选择陷入局部最优。

DBN由一系列受限波尔兹曼机（RBM）单元组成。RBM是一种典型神经网络，该网络可视层 和隐层单元彼此互连（层内无连接），隐单元可获取输入可视单元的高阶相关性。相比传统sigmoid信度网络，RBM权值的学习相对容易。为了获取生成性权值，预训练采用无监督贪心逐层方式来实现。在训练过程中，首先将可视向量值映射给隐单元；然后可视单元由隐层单元重建；这些新可视单元再次映射给隐单元，这样就获取了新的隐单元。通过自底向上组合多个RBM可以构建一个DBN。应用高斯—伯努利RBM或伯努利—伯努利RBM，可用隐单元的输出作为训练上层伯努利—伯努利RBM的输入，第二层伯努利和伯努利的输出作为第三层的输入等，如图2所示。

区分性深度结构

目的是提供对模式分类的区分性能力，通常描述数据的后验分布。卷积神经网络（Convolutional neural network,CNNs）是第一个真正成功训练多层网络结构的学习算法，与DBNs不同，它属于区分性训练算法。受视觉系统结构的启示，当具有相同参数的神经元应用于前一层的不同位置时，一种变换不变性特征就可获取了。后来LeCun等人沿着这种思路，利用ＢＰ算法设计并训练了CNNs。CNNs作为深度学习框架是基于最小化预处理数据要求而产生的。受早期的时间延迟神经网络影响。CNNs靠共享时域权值降低复杂度。CNNs是利用空间关系减少参数数目以提高一般前向BP训练的一种拓扑结构，并在多个实验中获取了较好性能。在CNNs中被称作局部感受区域的图像的一小部分作为分层结构的最底层输入。信息通过不同的网络层次进行传递，因此在每一层能够获取对平移、缩放和旋转不变的观测数据的显著特征。

混合型结构

它的目标是区分性的，但通常利用了生成型结构的输出会更易优化。混合型结构的学习过程包含两个部分，即生成性部分和区分性部分。现有典型的生成性单元通常最终用于区分性任务，生成性模型应用于分类任务时，预训练可结合其他典型区分性学习算法对所有权值进行优化。这个区分性寻优过程通常是附加一个顶层变量来表示训练集提供的期望输出或标签。BP算法可用于优化DBN权值，它的初始权值通过在RBM和DBN预训练中得到而非随机产生，这样的网络通常会比仅通过BP算法单独训练的网络性能优越。可以认为BP对DBNs训练仅完成局部参数空间搜索，与前馈型神经网络相比加速了训练和收敛时间。