机器学习3：卷积神经网络中的相关概念

机器学习3：卷积神经网络中的相关概念【旧笔记整理】

 

（1）特征图：

         ①特征图的生成：

             1.输入层：灰度图片对应一个特征图，彩色图片对应三个特征图。

             2.其它层：上一层的每个特征图与每个卷积核做卷积，会产生下一层的一个特征图，有N个卷积核，下层会产生N个特征图。

         ②多个特征图的作用：

                    在同一层，希望得到对于一张图片多种角度的描述，要通过用多种不同的卷积核对图像进行卷积，得到不同核上的响应作为图像的特征。

                    下面的核主要是一些简单的边缘检测器，上面的核主要是一些简单核的叠加。

 

（2）卷积核的理解：

          ①卷积核的形状：

                    卷积核具有长、宽、深三个维度，长、宽为人为指定，卷积核的深度与当前图像的深度（特征图个数）相同。

          ②卷积核的个数：

                     某一层有多少卷积核，下一层就会有多少张特征图，一般网络越深的地方卷积核个数越多，因为随着网络加深，特征图的长、宽尺寸缩小，卷积层提取的特征越具有代表性，需要增加特征图的数量才能充分提取前一层的特征。

 

（3）channels的理解：

           ①最初输入的图像样本的channels取决于输入图片是灰度图像还是彩色图像；

           ②卷积操作中输入的in_channels是操作的图像数据的特征图个数，也就是卷积核的深度，也就是上一层的输出通道数out_channels。 

           ③卷积操作中输出的out_channels，取决于卷积核的数量，即下一层的输入in_channels，也就是产生的特征图数量。

 

（4）全连接层的理解：

           ①全连接层的作用：

              1.全连接在整个卷积过程中起到了“分类器”的作用，将卷积层、池化层、激活函数层等获得的隐层特征映射到标签上。

                 实际应用中，前层是全连接的全连接层可转化为1*1卷积核的卷积，前层是卷积的全连接层可转化为卷积核是h*w的全局卷积，h和w为前层卷积结果的高和宽。

              2.全连接层可在能力迁移过程中充当防火墙的角色，若目标域的图像与源域中差异巨大，不含全连接层的网络微调后的结果远差于含有全连接层的网络（摘抄自知乎）。

           ②全局平均池化（GAP）：

              目前由于全连接层参数冗余，近期一些性能优异的网络模型如Resnet等用全局平均池化取代全连接来融合学到的深度特征，最后仍用softmax等损失函数作为目标函数来指导学习过程。

             全局平均池化操作就是把特征图全局平均输出一个值，将W*H*D的张量变成1*1*D的张量，用GAP代替全连接的网络通常有较好的预测性能。

 

（5）1*1卷积核的理解

          ①1*1卷积核操作：

              可将1*1卷积过程看作输入张量分为一个个输入为1*1*深度的x，它们共享卷积核变量（对应全连接网络的权重）w的全连接网络。

          ②1*1卷积的作用：

              1.通过控制卷积核个数来进行通道数大小的缩放，而池化只能改变高度和宽度，无法改变通道数；

              2.增加非线性，1*1卷积核的卷积过程相当于全连接层的计算过程，并且加入非线性激活函数，从而使网络可以表达更复杂的特性。

              3.减少参数：如InceptionNetwork中，由于需要进行较多卷积计算，计算量较大，可通过引入1*1卷积在确保效果的同时减少计算量。