一维卷积神经网络_卷积神经网络知识点总结

卷积神经网络是一种具有局部连接，权值共享等特性的深层前馈神经网络。

用全连接前馈网络来处理图像时，会存在参数太多，导致训练效率低和局部不变性特征等问题。卷积神经网络是怎样解决这些问题的？ - 局部连接。每个神经元不再和上一层的所有神经元相连，而只和一小部分的神经元相连，这样就减小了很多参数。 - 权值共享。一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样极大的减小了参数数量。 - 下采样 使用Pooling来减少每层的样本数，进一步减少参数数量，同时还可以提高模型的鲁棒性（鲁棒性指一个系统或组织有抵御或克服不利条件的能力）。

卷积神经网络是受生物学上感受野机制的启发提出的。感受野主要是指神经元只接受其所支配的刺激区域内的信号。一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。

目前的卷积神经网络一般是由==卷积层、汇聚层和全连接层==交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。

卷积神经网络有三个结构上的特性：==局部连接、权重共享以及汇聚==。这些特性使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。对于图像识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数，来达到更好的学习效果。

卷积神经网络常用的架构模式是N个卷积层叠加，然后叠加一个Pooling层，重复这个结构M次，最后叠加K个全连接层。

卷积是一种数学运算方式。有一维卷积和二维卷积（离散序列）。

一维卷积常用于信号处理，来计算信号的延迟累积。我们常把信息的衰减率称为卷积核或者滤波器。

二维卷积就是用卷积核对应的特征值。常用的均值滤波就是当前位置的像素值设为滤波器窗口中所有像素的平均值（卷积核算子都是1/m*n）。在图像处理中，卷积经常作为特征提取的有效方法。一副图像在经过卷积操作后得到的结果称为特征映射。

卷积的主要功能是在一个图像上滑动一个卷积核，通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转（旋转180度）。互相关是衡量两个序列相关性的函数，通常是用滑动窗口的点积计算实现。卷积和互相关的运算相同，区别仅仅在于卷积核是否进行翻转。

一般常用的卷积有以下三类： • 窄卷积（Narrow Convolution）：步长s = 1，两端不补零p = 0，卷积后输出 长度为n−m+1。

• 宽卷积（Wide Convolution）：步长s =1，两端补零p = m−1，卷积后输出 长度n+m−1。

• 等宽卷积（Equal-Width Convolution）：步长s=1，两端补零p=(m−1)/2，卷积后输出长度n。图5.4b就是一个等宽卷积示例。

卷积

对于max pooling，下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所对应的神经元，而其他神经元的误差项的值都是0。

对于mean pooling，下一层的误差项的值会平均分配到上一层对应区块中的所有神经元。