1x1卷积的作用

1x1卷积的作用

在架构内容设计方面，其中一个比较有帮助的想法是使用1x1的卷积。

这里用1x1的过滤器进行卷积似乎用处不大。只是对输入矩阵乘以某个数字。

但这仅仅是对于6x6x1的信道图片来说1x1卷积效果不佳。

如果是一张6x6x32的图片，那么使用1x1过滤器进行卷积效果更好。具体来说 1x1卷积所要实现的功能是遍历这36个单元格，计算左图中32个数字和过滤器中32个数字的元素智能乘积，然后应用ReLU非线性函数。

 

 

我们以其中一个单元格为例，它是这个输入层上的某个切片，用这36个数字乘以这个输入层上1x1的切片，得到一个实数，像这样把它画在输出中，这个1x1x32过滤器中的32个数字就可以这样理解，一个神经元的输入是32个数字，乘以相同高度和宽度上某个切片上的32个数字。这32个数字有不同的信道。

一般来说，如果过滤器不止一个，而是多个，就好像有多个输入单元，其输入内容为一个切片上的所有数字，输出结果是6x6x过滤器的数量。

所以1x1卷积可以从根本上理解为，这32个单元都应用了一个全接连神经网络

全连接层的作用是输入32个数字，和过滤器数量标记为nC[l+1]，在36个单元上重复此过程，输出结果是6x6x过滤器数量，以便在输入层上实施一个非平凡计算。这种方法通常称为1x1卷积，有时也称为Network in Network， 在林敏，陈强和杨学成的论文中有详细描述。举个1x1卷积的例子，相信对大家有所帮助，这是它的一个应用。

 

假设这是一个28x28x192的输入层，你可以使用池化层压缩它的高度和宽度，但是信道数量很大，该如何把它压缩为28x28x32维度的层呢，你可以用32个大小为1x1的过滤器，严格来讲，每个过滤器的大小都是1x1x192维，因为过滤器中的信道数量必须与输入层中的信道数保持一致，因此使用32个过滤器，输出层为28x28x32. 这就是压缩nC的方法。然而对于池化层，我们只是压缩了这些层的高度和宽度。接下来我们看看在某些网络中，1x1卷积是如何压缩信道数量并减少计算的。当然，若果你想保持信道数192不变这也是可行的，1x1卷积只是添加了非线性函数，当然也可以让网络学习更复杂的函数。比如，我们再添加一层，其输入为28x28x192，输出为28x28x192，1x1卷积层就是这样实现了一些重要功能，他给神经网络添加了一个非线性函数，从而减少或保持输入层中的信道数不变，当然如果你愿意，也可以增加信道数量。

 

 

 

 

总结：1x1卷积具有全连接的作用，添加了非线性，并且可以升维或者降维。

参考：吴恩达卷积课程