1x1卷积

1.升维、降维：减少训练参数量。比较典型的例子就是残差结构：

 

简单对比一下：

左图参数量：3*3*64*2 = 1152

右图参数量：1*1*64 +1*1*256 + 3*3*64 = 896

顺带贴俩个公式：

2. 增加网络的非线性：

在保证了feature map尺寸没有变化也即分辨率没有变化的前提，利用其后接的非线性激活函数，增加网络的非线性结构，可以把网络做的很深。（这有个疑问？增加非线性而且还DEEP会梯度消失吗？？？）

3.跨通道信息交互

在升维降维的过程中可以理解为不同通道的信息的交互。（注：不同的通道的交互是线性组合，也就是不同通道在一个卷积核卷积后得到不同的feature map之后进行相加得到最终所需要的一张feature map）

插一张多通道卷积计算图：

 

全连接网络

卷积就是全连接层的简化：不全连接+权值共享，

全连接：全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。参数量巨大，占到了整个网络的80%，近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代FC来融合学到的深度特征。

4.与全连接层相比：

1.不改变空间结构：全连接层会破坏图像的空间结构，而1×1卷积层不会破坏图像的空间结构。

2.输入可以是任意尺寸：全连接层的输入尺寸是固定的，因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的，因为卷积核的参数个数与图像大小无关。