1.升维、降维:减少训练参数量。比较典型的例子就是残差结构:
简单对比一下:
左图参数量:3*3*64*2 = 1152
右图参数量:1*1*64 +1*1*256 + 3*3*64 = 896
顺带贴俩个公式:
2. 增加网络的非线性:
在保证了feature map尺寸没有变化也即分辨率没有变化的前提,利用其后接的非线性激活函数,增加网络的非线性结构,可以把网络做的很深。(这有个疑问?增加非线性而且还DEEP会梯度消失吗???)
3.跨通道信息交互
在升维降维的过程中可以理解为不同通道的信息的交互。(注:不同的通道的交互是线性组合,也就是不同通道在一个卷积核卷积后得到不同的feature map之后进行相加得到最终所需要的一张feature map)
插一张多通道卷积计算图:
全连接网络
卷积就是全连接层的简化:不全连接+权值共享,
全连接:全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。参数量巨大,占到了整个网络的80%,近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化(global average pooling,GAP)取代FC来融合学到的深度特征。
4.与全连接层相比:
1.不改变空间结构:全连接层会破坏图像的空间结构,而1×1卷积层不会破坏图像的空间结构。
2.输入可以是任意尺寸:全连接层的输入尺寸是固定的,因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的,因为卷积核的参数个数与图像大小无关。