TVConv引文整理-Per-pixel动态卷积

引文范围

Per-pixel动态卷积：[3, 20, 22, 37, 45, 49, 59]

具体内容

引文3

一句话总结: 可微分的区域分组per-pixel动态卷积
实验结论: 1. 小模型收益更高；2. 区域越多收益越高
Title: [CVPR 2021] Dynamic Region-Aware Convolution
Paper: https://arxiv.org/abs/2003.12243
Code: <unofficial!!> | https://github.com/shallowtoil/DRConv-PyTorch
整理：[知乎] | [CVPR 2021] Dynamic Region-Aware Convolution | https://zhuanlan.zhihu.com/p/372120226

引文20

一句话总结:
Title: [arXiv 2021.7] Laconv: Local adaptive convolution for image fusion用于图像融合的局部自适应卷积
Paper: https://arxiv.org/abs/2107.11617v1
Code: None
整理：None

引文22

Title: [CVPR 2021] Involution: Inverting the inherence of convolution for visual recognition
Paper: https://arxiv.org/pdf/2103.06255.pdf
Code: https://github.com/d-li14/involution
整理：[知乎] | CVPR 2021 | 真内卷！Involution：反转卷积的固有性以进行视觉识别 | https://zhuanlan.zhihu.com/p/356369472

引文37

Title: [CVPR 2019] Pixel-adaptive convolutional neural networks
Paper: https://arxiv.org/abs/1904.05373
Code: https://suhangpro.github.io/pac/
整理：[CSDN] | 每天一篇论文 308/365 Pixel-Adaptive Convolutional Neural Networks | https://blog.csdn.net/qq_26623879/article/details/103849325

引文45

Title: [ICCV2019] Carafe: Content-aware reassembly of features
Paper: https://arxiv.org/abs/1905.02188
Code: mmdetection | https://github.com/open-mmlab/mmdetection
整理：[CSDN] | 目标检测系列：CARAFE: Content-Aware ReAssembly of FEatures

引文49

Title: Adaptive convolutions with per-pixel dynamic filter atom
Paper: https://arxiv.org/abs/2108.07895
Code: None
整理：None

引文59

一句话总结: 空间和通道维度分离生成核权重的动态卷积
Title: [CVPR 2021] Decoupled dynamic filter networks
Paper: https://thefoxofsky.github.io/files/ddf.pdf
Code: https://github.com/thefoxofsky/ddfnet
整理：[知乎] | 【CVPR2021】Decoupled dynamic filter networks | https://zhuanlan.zhihu.com/p/459147690

总结

这些动态卷积的论文，总结下来方法上有相似的操作：

1. GAP很常用，用来浓缩沿某一个维度的特征；
2. GAP之后经常接着权重生成网络，基本是Conv+BN+ReLU+Act+Conv的格式，其实大部分用FC？ReLU和Sigmoid都看到有用。
3. 经常有矩阵分解(我理解和深度可分离、空间可分离的动机、形式都差不多)来尽可能地做轻量化；

结论上，有以下相似之处：

1. 基本是在小模型上，替换深层次模块更有利——这其实挺符合假设的，大模型通过blindly地增加channel数，很可能也已经把有效的kenerl模式都蒙出来了