机器学习-神经网络

摘抄自《视觉机器学习20讲》谢剑斌等著

第15讲 BP学习

1.  前馈型神经网络：指信息只能由输入层进入网络，随后逐层向前进行传递，一直到输出层，网络中不存在环路。

     典型分层结构。由输入层、中间层（隐层）和输出层组成。输入层无计算功能，表征输入矢量各元素数值；中间层和输出层的节点均为计算节点，对应不同的计算函数。一般采用 sigmoid 和 tanh 这样的非线性函数。

     训练目标是根据训练样本来学习网络节点之间的连接权重Wij。

     为了得到最优的连接权重数值，一般需要求解损失函数（一组特定的模型参数在一个样本的损失值）最小问题。

当损失函数导数存在时，就可引入BP学习算法来求解。

BP学习算法基于梯度下降算法。从一个初始值出发，沿着负梯度方向寻找更小的目标函数值。BP学习算法是梯度下降算法在学习前馈网络参数中的一个具体应用特例。其基本思想为：首先通过一个向前过程计算训练样本的输入对应的实际输出值，然后将输出值与期望值比较，得到误差信号。再根据误差信号从后向前调节各神经网络层神经元之间的连接强度。重复此过程，使误差减小，直到误差满足要求。

缺点：会导致局部最优；优化过程缓慢，反向传播梯度小；存在不稳定性。

第16讲 CNN学习（Convolutional Neural Network）

1980年神经认知模型，将一个视觉模式分解成很多子模式（特征），然后以分层方式对这些特征处理。

CNN可看作前馈网络的特例，在结构上进行了简化和改进。BP算法可用于训练CNN。

CNN是一种多层前馈网络，每层由多个二维平面组成，每个平面由多个神经元组成。

网络输入为二维视觉模式，中间层是卷积层（Convolutional Layer, C）和抽样层（Subsampling Layer, S）交替出现。网络输出层为前馈网络的全连接方式，输出层的维数为分类任务中的类别数。

1. 输入层

            直接接收二维视觉模式，如二维图像。一个二维视觉模式，对应一幅灰度图像。三通道彩色图像。

2. 卷积层（C层）

            特征抽取层。每个卷积层中包含多个卷积神经元（C元）。每个C元只和前一层网络对应位置的局部感受域相连，并提取该部分的图像特征。具体提取的特征体现在该C元与前一层局部感受域的连接权重上。相对于一般的前馈神经网络，CNN的局部连接方式大大减少了网络参数。

           权职共享：为了减少参数，CNN同时限制同一个卷积层中不同的C元与前一层网络不同位置相连的权重均相等，即一个卷积层只用来提取前一层网络中不同位置处的同一种特征。这种限制策略称为权职共享。 通过设计权职共享的连接方式，不仅可以进一步减少网络参数，而且也可促使网络学习与位置无关的鲁棒视觉特征用于分类。

3. 抽样层

4. 输出层