机器学习3:卷积神经网络中的相关概念【旧笔记整理】
(1)特征图:
①特征图的生成:
1.输入层:灰度图片对应一个特征图,彩色图片对应三个特征图。
2.其它层:上一层的每个特征图与每个卷积核做卷积,会产生下一层的一个特征图,有N个卷积核,下层会产生N个特征图。
②多个特征图的作用:
在同一层,希望得到对于一张图片多种角度的描述,要通过用多种不同的卷积核对图像进行卷积,得到不同核上的响应作为图像的特征。
下面的核主要是一些简单的边缘检测器,上面的核主要是一些简单核的叠加。
(2)卷积核的理解:
①卷积核的形状:
卷积核具有长、宽、深三个维度,长、宽为人为指定,卷积核的深度与当前图像的深度(特征图个数)相同。
②卷积核的个数:
某一层有多少卷积核,下一层就会有多少张特征图,一般网络越深的地方卷积核个数越多,因为随着网络加深,特征图的长、宽尺寸缩小,卷积层提取的特征越具有代表性,需要增加特征图的数量才能充分提取前一层的特征。
(3)channels的理解:
①最初输入的图像样本的channels取决于输入图片是灰度图像还是彩色图像;
②卷积操作中输入的in_channels是操作的图像数据的特征图个数,也就是卷积核的深度,也就是上一层的输出通道数out_channels。
③卷积操作中输出的out_channels,取决于卷积核的数量,即下一层的输入in_channels,也就是产生的特征图数量。
(4)全连接层的理解:
①全连接层的作用:
1.全连接在整个卷积过程中起到了“分类器”的作用,将卷积层、池化层、激活函数层等获得的隐层特征映射到标签上。
实际应用中,前层是全连接的全连接层可转化为1*1卷积核的卷积,前层是卷积的全连接层可转化为卷积核是h*w的全局卷积,h和w为前层卷积结果的高和宽。
2.全连接层可在能力迁移过程中充当防火墙的角色,若目标域的图像与源域中差异巨大,不含全连接层的网络微调后的结果远差于含有全连接层的网络(摘抄自知乎)。
②全局平均池化(GAP):
目前由于全连接层参数冗余,近期一些性能优异的网络模型如Resnet等用全局平均池化取代全连接来融合学到的深度特征,最后仍用softmax等损失函数作为目标函数来指导学习过程。
全局平均池化操作就是把特征图全局平均输出一个值,将W*H*D的张量变成1*1*D的张量,用GAP代替全连接的网络通常有较好的预测性能。
(5)1*1卷积核的理解
①1*1卷积核操作:
可将1*1卷积过程看作输入张量分为一个个输入为1*1*深度的x,它们共享卷积核变量(对应全连接网络的权重)w的全连接网络。
②1*1卷积的作用:
1.通过控制卷积核个数来进行通道数大小的缩放,而池化只能改变高度和宽度,无法改变通道数;
2.增加非线性,1*1卷积核的卷积过程相当于全连接层的计算过程,并且加入非线性激活函数,从而使网络可以表达更复杂的特性。
3.减少参数:如InceptionNetwork中,由于需要进行较多卷积计算,计算量较大,可通过引入1*1卷积在确保效果的同时减少计算量。