5.6深度学习

5.6深度学习

• 理论上来说，参数越多的模型复杂度越高，“容量”越大，这意味着它能够完成更加复杂的学习任务，但是一般情况下，复杂模型的训练效率低，易陷入过拟合，因此难以收到人们的青睐，而随着云计算，大数据时代的来领，计算能力的大幅提高可以缓解训练低效性，训练数据的大幅增加则可以降低过拟合的风险，因此，以“深度学习”为代表的复杂模型开始收到人们的关注。
• 典型的深度学习模型就是很深层的神经网络，显然，对神经网络模型，提高容量的一个简单方法就是增加隐层的数量，隐层多了，响应的神经元的连接权和阈值等参数就会更多，模型复杂度也可以通过单纯增加隐层神经元的数目来实现，前面我们已经谈论过，单隐层的多层前馈网络已经具有很强大的学习能力，但从增加模型复杂度的角度来看，增加隐层的数目显然比增加隐层神经元的数目更加有效，因为增加隐层数不仅增加了拥有激活函数的神经元数目，还增加了激活函数嵌套的层数，然而，多隐层神经网络难以直接使用经典的算法（例如标准的BP算法）进行训练，因为误差在**多隐层内逆传播的时候，往往会“发散”**而不能收敛到稳定的状态。
• 无监督逐层训练是多隐层网络训练的有效手段，其基本思想是每次训练一层隐节点，训练的时候将上一层隐结点的输出作为输入，而将本层隐节点的输出作为下一层隐节点的输入，这称为“预训练”，在预训练全部完成的时候，再对整个网络进行“微调”训练，例如，再深度信念网络中，每层都是一个受限Boltzmann机，即整个网络可视作为若干个RBM堆叠而得，使用无监督逐层训练的时候，首先训练第一层，这是关于训练样本的RBM模型，对第二层进行训练，各层预训练完成之后，再利用BP算法对整个网络进行训练。
• 事实上，“预训练+微调”的做法可以视作将大量的参数分组，对每组先找到局部看起来比较好的设置，然后再基于这些局部较优的结果联合起来进行全局寻优，这样就再利用了模型大量参数所提供的自由度的同时，有效的节省了训练开销。
• 另一种节省训练开销的策略是权共享，即让一组神经元使用相同的连接权，这个策略再卷积神经网络中发挥了重要的作用。

  • 以CNN进行手写数字识别任务为例，网络的输入是一个 32 ✖ 32的手写数字图像，输出是其识别的结果。CNN复合多个卷积层和采层对输入信号进行加工，然后在连接曾实现与输出目标之间的映射，每个卷积层都包含多个特征映射，每个特征映射是一个由多个神经元构成的“平面”，通过一种卷积滤波器提取输出的一种特征，例如，图5.15中的第一个卷积是由6个特征映射所构成，每个特征映射是一个 28 X 28的神经元阵列，其中每个神经元负责从 5 X5的区域通过卷积滤波器提取局部的特征，采样层也叫做“汇合”层，其作用是基于局部相关性原理进行亚采样，从而在减少数据量的同时保留有用的信息，从而在减少数据量的同时保留有用的信息，例如，在图5.15中的第一个采样曾共有 6 个 14 X 14的特征映射，其中每个神经元与上一层中对应特征映射的 2 X 2领域相连，并由此计算输出。通过复合卷积层和才烟台高层，图15.5中的CNN 将原始的图像映射成 120 维的特征向量，其中最后一个由 84 个神经元构成的连接曾和输出层连接完成识别任务，CNN 可以用BP算法后进行训练，但是在训练的时候，无论是卷积层还是采样层，其每一组的神经元都是使用相同的连接权，从而大幅减少了需要训练的参数数目。
    

  • 我们可以从另一个角度来理解深度学习，无论是DBN还是CNN，其多层堆叠，每层对上一层的输出进行处理的机制，可以看作是对输入信号进行逐层加工，从而把初始的，与输出目标之间的联系不太密切的输入表示，转化为与输出目标联系更加密切的表示，使得原来仅基于最后一层的输出映射难以完成的任务称为可能。换言之，通过多层的处理，逐渐将初始的“低层”特征表示转化为“高层”的特征表示之后，用“简单模型”就可以i完成复杂的分类等学习任务，由此将深度学习理解为特征学习或者是表示学习

  • 以往在机器学习用于现实任务的时候。描述样本的特征通常需要由人类专家来设计，这称为特征工程。众所周知，特征的好坏对泛化性能有着至关重要的影响，人类专家设计处好特征也并非易事，特征学习则通过机器学习计数自身产生好的特征，这使得机器学习向“全自动数据分析”又前进了一步。