深度学习（四）-卷积神经网络

神经网络局限

不考虑数据形状

未考虑数据的“形状”，会破坏数据空间结构。例如，输入数据是图像时，图像通常是高长通道方向上的3维形状。但是，向全连接层输入时，需要将3维数据拉平为1维数据

参数庞大

全连接网络参数量庞大，需要降低参数量

深度受限

全连接网络层次深度受限，一般不超过七层，过深会导致梯度消失（梯度过小）或梯度爆炸（梯度过大），模型性能无法进一步提升。神经网络由输入、权重相乘得到，如果输入X 进行了归一化（

0~1）之间，会导致越乘越小（梯度消失）；如果 X 不做归一化，会导致值越乘越大

如何克服全连接模型的局限

• 增加卷积操作，卷积操作不需要变维成向量，不破坏图像空间结构
• 增加卷积、池化操作，提取特征同时，对数据降维
• 增加其它策略解决梯度消失问题

卷积神经网络

卷积

“卷积”其实是一个数学概念，它描述一个函数和另一个函数在某个维度上的加权“叠加”作用。函数定义如下：

其中，函数 f 和函数 g 是卷积对象，a 为积分变量，星号“*”表示卷积。

公式所示的操作，被称为连续域上的卷积操作。这种操作通常也被简记为如下公式：

离散卷积与多维卷积

 一般情况下，我们并不需要记录任意时刻的数据，而是以一定的时间间隔 （也即频率）进行采样即可。

对于离散信号，卷积操作可用如下表示：

当然，对于离散卷积的定义可推广到更高维度的空间上。例如，二维的公式可表示为公式

卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）针对全连接网络的局限做出了修正，加入了卷积层（Convolution层）和池化层（Pooling层）。

卷积神经网络的用途

CNN被广泛应用于图像识别、语音识别等各种场合，在图像识别的比赛中，基于深度学习的方法几乎都以CNN为基础（比如，AlexNet、VGGNet、 Google Inception Net及微软的ResNet等）上。近几年深度学习大放异彩，CNN功不可没。

卷积运算

单通道：用一个值表达像素的颜色。（灰度图像）

三通道：用三个值表达像素的颜色。（彩色图像）

 

卷积前后矩阵大小一样，称为同维卷积 

 卷积输出矩阵大小计算

多通道卷积

注意，卷积核那里也是一个卷积核，有三个通道，而不是有三个卷积核

卷积运算的效果

锐化、去噪、模糊、加强边沿

通过卷积运算，能对输入数据起到加强或平滑效果。在图像处理中，通过选取合适的卷积核（或称算子），可以对图像进行锐化、去噪、模糊、加强边沿。

卷积运算能提取深层次复杂特征

卷积运算能提取深层次复杂特征

总结

• 损失函数。用于度量预测值和期望值之间的差异，根据该差异值进行参数调整
• 梯度下降。用于以最快的速度、最少的步骤快速找到损失函数的极小值
• 反向传播算法。用于求隐藏层梯度