1x1卷积、Inception网络

目录

1.1x1卷积(1x1 convolution)

又称网络中的网络(network in network)

池化层只能压缩图像的宽和高，1x1卷积能压缩通道数量，减少计算成本。

如上图，输入维度的通道数为192，用32个1x1x192的filters，就能将输出的通道数压缩到32。

如何使用1x1卷积来减少计算成本？

上图的乘法运算的成本：28x28x32x5x5x192≈1.2亿

上图使用1x1卷积后，乘法运算的成本：28x28x16x1x1x192+28x28x32x5x5x16≈0.12亿

计算成本少到近1/10。(加法运算的成本两者都差不多)

中间那层通常被称为瓶颈层(bottleneck layer)，该层是网络中最小的部分，我们先缩小网络，再扩大它。

2.Inception网络

Inception网络的作用是不用人工去确定卷积层中的过滤器类型，由网络去自行确定这些参数。

Inception网络包含很多Inception模块(Inception module)，下图是一个Inception模块。

Inception网络是在GoogLeNet模型中提出的。(GoogLeNet有向LeNet致敬之意)