【论文阅读笔记】HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs

       论文地址：https://arxiv.org/abs/1903.04120

      本文是CVPR2019上发表的一篇文章，文章主要设计了新的滤波器结构，在大幅减少FLOPS的前提下还能保证延迟和准确性。

      文章将现有的卷积过滤器大致分为三类：1）深度方面的卷积过滤器，用于执行逐深度的卷积（DWC）2）点方面的卷积过滤器，用于执行逐点卷积（PWC）3）分组方面的卷积过滤器，用于执行逐分组卷积（GWC）。目前的大多数架构都使用了这些卷积过滤器的组合来得到高效的模型。很多常见的模型也使用了这些卷积（比如 DWC、PWC 和 GWC）来探索可以降低 FLOPs 的新架构。另一种提升模型效率的常用方法是压缩模型。模型压缩大致可以分为三类：连接剪枝、过滤器剪枝和量化。

      本文提出的方法不同于以上方法，主要侧重于设计新的卷积核，传统的卷积和按文中说法成为同构卷积(homogeneous convolution)，即该过滤器包含的所有卷积核都是同样大小（比如在 3 × 3 × 256 CONV2D 过滤器中，所有 256 个核都是 3×3 大小），本文提出的是异构卷积(heterogeneous convolution), 即过滤器包含不同大小的卷积核（比如在某个 HetCOnv 过滤器中，256 核有的是 3×3 大小，其余的是 1×1 大小）。从文章中几个贴图可以很明显的看出这种异构思想：

文章同时比较了不同种类卷积网络的延迟

从实验结果上看模型的准确度无损失，同时 FLOPs 降低了显著更多，详见原论文。

       本文的新意在于就卷积核内部进行设计，但文章中对P的取值是出于实验结论，对具体应用最优的P值没有理论和实验分析，因此值得更进一步探索。