2021CVPR - Inception convolution

作者：孙明

链接：https://zhuanlan.zhihu.com/p/354194188

本文转载自知乎，作者已授权，未经许可请勿二次转载

序：

写一个我们最近被CVPR2021接受的工作，主要使用一些优化手段来找到新的卷积模式，目标是能够找到一个部署友好简单的卷积来帮助下游各个任务更好的提升baseline。之前别人有相关贴写过一些（暴力涨点 | IC-Conv使用高效空洞搜索Inception卷积带来全领域涨点），标题有点夸张，这里主要补充一下我对这个问题的认知。

背景：

1，熟悉检测/姿态估计/或者low-level处理的研究人员应该比较清楚，感受野或者说如何获得一个自适应的感受野网络是非常重要的。原因在于类别较多时，不同物体的scale是不一样的。比如有的人在图片里占比就比较小，有些就非常大。

2，熟悉细粒度分类的同学（比如人脸/猫狗之类的），可以明白在早起很多比赛中，inception-resnet经常取得一些不错的结果，具体可以看一些顶会的FG比赛报告。其原因也比较简单，因为细粒度更注重局部的细节捕获能力。

动机：

几个领域对应的问题；

（1）检测/pose/seg/low-level里面有很多来改善感受野的方案，比如我们之前的几篇文章，但是核心问题在于优化手段较差，训练和部署不友好；

（2）NAS领域，实际NAS有个核心关键点在于一个平衡：如何在搜索空间复杂度和精度之间做tradeoff。我的初衷是把NAS放小，NAS为Network 的架构搜索，我在想能不能把它分解成Block级别或者是OP级别的搜索。其次NAS的优化手段有很明显的弊端：RL/one-shot，保序性和时间复杂度都很不友好。希望能够引入新的信息差，帮助更好的优化；

（3）Incaption的精巧设计在很多网络和任务里面都有用到，我们将其进一步压缩，直接放在一个卷积中实现inception的思想精髓。

方案：所以整体方案就很明确了，

（1） 需要做一个OP的架构搜索； 

（2）优化方法是简洁却不同于NAS的已有两种手段； 

（3）把inception思想塞到OP里面去；具体操作就比较简单了，将一个卷积进行分组，要实现inception（用最简单的dilation代替就好，也可以选用更贱复杂的，欢迎大家follow，亲测有效）；优化方案得益于OP的缩小，可以用基于统计的优化思路，真的是比RL/one-shot省事太多了。希望后面还有inception-con v2/v3 出现。

基于dilation的inception conv

实验结果：

里面还有一些实现细节，这两天会直接放出源码和结果。重点还是那句话，dilation只是我们偷懒的一种选择，你可以有很多种选择，效果很强大，欢迎脑洞。大家可以看看这种简单情况下的实验效果。比最简单的baseline高出11各点，关键训练部署友好。

总结：

（1）这个pipeline是一套方案且通用，换掉dilation，性能应该会超过大家的认知；比如组内小伙伴会觉得在检测上很难在往上走，实际换个空间还是有很大空间的；

（2）这个版本的inception-conv更适合类别和scale较大的数据集（实际只要数据集够复杂就一定存在这个问题），相反有些领域就不一定适合，比如人脸检测的小模型。

（3）第三遍，这是一个非常简单的组合形式，希望后面研究人员继续在上面做，我们已经连续几篇了，可以看我之前的帖子。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓