出处:
《Xception:Deep Learning with Depthwise Separable Convolutions》
背景:
Inception模块是一大类在ImageNet上取得顶尖结果的模型的基本模块,例如GoogLeNet、Inception V2/V3和Inception-ResNet。有别于VGG等传统的网络通过堆叠简单的3*3卷积实现特征提取,Inception模块通过组合1*1,3*3,5*5和pooling等结构,用更少的参数和更少的计算开销可以学习到更丰富的特征表示。
改进:
Inception的思想之一就是将通道相关性和空间相关性分开学习,Inception模块首先使用1*1的卷积核将特征图的各个通道映射到一个新的空间,在这一过程中学习通道间的相关性;再通过常规的3*3或5*5的卷积核进行卷积,以同时学习空间上的相关性和通道间的相关性。但3*3或5*5的卷积仍然是作用到多通道上。
如果我们将池化做简化,
然后提取1*1的卷积的公共部分
Xception的基本模块就是先对输入做1*1卷积,然后对每个通道分别做3*3卷积,最后concat
论文中提到了深度可分离卷积Depthwise Separable Convolution,相比于前面的基本模块,后者调换了顺序,先对输入的各个通道进行3*3卷积然后concat,然后在进行1*1卷积