卷积神经网络-学习笔记（1）

最新推荐文章于 2023-04-10 18:15:58 发布

倾_城

最新推荐文章于 2023-04-10 18:15:58 发布

阅读量437

点赞数

分类专栏：深度学习文章标签：学习笔记

本文链接：https://blog.csdn.net/weixin_43462429/article/details/103411011

版权

3 篇文章 0 订阅

订阅专栏

卷积神经网络

卷积神经网路是一种以图像识别为中心的多个领域都得到广泛应用的深度学习方法。

本章将介绍卷积神经网络的结构，以及每层的训练方法。此外，还会介绍训练时需要设定的参数种类，以及不同参数设定方法所引起的性能差异。

卷积神经网络基于人类视皮层中感受野的结构得到的模型，由输入层、卷积层、池化层、全连接层和输出层组成。通过增加卷积层和池化层，还可以得到更深层次的网络，其后的全连接层也可以采用多层结构。

接下来，我们就来介绍一下卷积神经网络的结构以及每一层的训练方法。

卷积神经网络中的卷积操作可以看作是输入样本和卷积核的内积运算。

在第一层卷积层对输入样本进行卷积操作后，就可以得到特征图。卷积层中是使用同一卷积核对每个输入样本进行卷积操作的。

在第二层及其以后的卷积层，把前一层的特征图作为输入数据，同样进行卷积操作。

对10×10的输入样本使用3×3的卷积核进行卷积操作后，可以得到一个8×8的特征图。特征图的尺寸会小于输入样本，为了得到和原始输入样本大小相同的特征图，可以采用对输入样本进行填充处理后再进行卷积操作的方法。零填充指的就是用0填充输入样本的边界，填充大小为P=(F-1)/2，其中F为卷积核尺寸。

我们可以设定卷积核的滑动步长，步长越大特征图越小。另外，卷积结果不能直接作为特征图，需通过激活函数计算后，把函数输出结果作为特征图。一个卷积层中可以有多个不同的卷积核，而每一个卷积核都对应一个特征图。

当卷积层的输入样本是三通道的彩色图像时，卷积核是三维的3×M×M，M表示卷积核大小。第二层及其以后的卷积层的输入是上一次的特征图，而特征图的个数是由上一层的卷积核数决定的。例如，当上一个卷积核数为8时，就会得到8个特征图作为下一层的输入，所以下一层需要8个三维的8×M×M卷积核。

池化层的作用是减小卷积层产生的特征图的尺寸。选取一个区域，根据该区域的特征图得到新的特征图，这个过程就称为池化操作。

对一个2×2的区域进行池化操作后，得到的新特征图会被压缩为原来尺寸的1/4。池化操作降低了特征图的维度，使得特征表示对输入数据的位置变化具有稳健性。常用方法有最大池化、平均池化和Lp池化。

和多层感知机一样，全连接层也是首先计算激活值，然后通过激活函数计算各单元的输出值。激活函数包括sigmoid、tanh、ReLU等函数。由于全连接层的输入就是卷积层或池化层的输出，是二维的特征图，所以需要对二维特征图进行降维处理。

和多层感知机的输出层一样，卷积神经网络的输出层也是使用似然函数计算各类别的似然概率。

卷积神经网络出现后，首先被应用在了手写体字符分类上。手写字符识别用到的是0到9这10个数字，所以共有10个输出单元。每个单元对应一个类别，使用softmax函数可以计算输出单元的似然概率，然后把概率最大的数字作为分类结果输出。

卷积神经网络的参数包括卷积层的卷积核大小、全连接层的连接权重和偏置值。和多层神经网络一样，卷积神经网络中的参数训练也是使用误差反向传播算法。

池化层的误差传播：先把池化层改写成全连接层的形式。最大池化时，误差只在激活值最大的单元传播。在反复调整连接权重的过程中，激活值最大的单元也有可能出现在其他位置，届时就只调整其它单元的连接权重。

卷积层的误差传播：把卷积层改写为全连接层的形式；计算所有单元的连接权重调整值；累积所有单元的连接权重调整值，即可得到最终的调整值。

在卷积神经网络中，有大量需要预设的参数。与神经网络有关的主要参数如下所示。
卷积层的卷积核大小、卷积核个数

与训练有关的参数如下所示：

最理想的状态就是从这些组合中选择最优的组合进行训练，但是由于组合数过于庞大，所以设置参数时，只能根据以往的研究和经验，不断摸索更优化的组合。

关注

专栏目录