1*1的卷积核与全连接的区别
11的卷积核是输入map大小不固定的;而全连接是固定的。
11卷积的主要作用有以下两点:
1)降维( dimension reductionality ),inception中就是这个用。
2)加入非线性,毕竟有激活。
这里有个八卦是当年FCN得到CVPR’15 best paper honorable mention的时候, Yann LeCun等人出来吐槽这个’FCN’的概念早就有了,AlexNet里面的fully connected layer (FC)本身就是个误导,因为FC layer可以看成是1x1的convolution, 本来就可以输入任意大小的图片。
更多的,卷积层跟全连接层的区别
使得网络可以接受任意的输入的方法就是把全连接层变成卷积层,这就是所谓的卷积化。这里需要证明卷积化的等价性。
直观上理解,卷积跟全连接都是一个点乘的操作,区别在于卷积是作用在一个局部的区域,而全连接是对于整个输入而言,那么只要把卷积作用的区域扩大为整个输入,那就变成全连接了,我就不给出形式化定义了。所以我们只需要把卷积核变成跟输入的一个map的大小一样就可以了,这样的话就相当于使得卷积跟全连接层的参数一样多。
举个例子,比如AlexNet,fc6的输入是256x6x6,那么这时候只需要把fc6变成是卷积核为6x6的卷积层就好了。