一维卷积和全连接层的区别

        在构建卷积神经网络结构的时候需要降维操作的时候，突然想到了这个问题。降维可以采用一维卷积（卷积核为1X1）来完成降维，此外，全连接神经网络（FC）好像也能完成降维操作。这个时候应该怎么选择？

全连接层和一维卷积数学定义：

两个网络层的数学定义大致是一样的：

 都是乘以一个权重然后加上一个偏移。

区别

一维卷积 1×1

       一个卷积核只有一个值a， 如果只是一张图像，没有任何作用，相当于对这个图像的每一个像素点乘a，没有其他任何新信息产生。

      但是如果图片是多通道的，假设C通道，按照上述数学定义，一维卷积的意义就是可以把这C个通道的同一位置上的像素线性加权，得到一个新的值。如果有N 个卷积核，则可以实现通道级别的升维或者降维，从C 通道到N通道。相当于通道级别的线性加权。

全连接

          全连接和一维卷积类似，不过区别在于，一维卷积是单个像素位置的全部通道进行线性加权，而全连接是先把所有输入平铺 （或者用池化层）成一维向量，即更偏向于对像素级别的线性加权。

还有就是广义上的全连接网络还会带一个激活函数。

       总之，一句话讲，两者的区别的就是，一维卷积是对图片通道级别的操作，全连接则更偏向于是像素级别的操作。

如何选择

        用1*1卷积代替全连接应该是基于输入尺寸的考虑；全连接的输入是特征图所有元素乘以权重再求和，但是这个权重向量是在设计网络的时候就需要固定的，所以全连接没办法适应输入尺寸的变化只能固定。但是1*1卷积的输出与输入尺寸是一样大的，输出尺寸可以随着输入尺寸的变化而变化，所以1*1卷积无需固定输出尺寸。

        通俗来说就是卷积是权值共享，所以所学参数只跟卷积核有关，跟特征图无关。至于效果嘛，如果是分类基本上没什么差别，如果是做分割，那还是卷积比较合适。