Channel Interaction Networks for Fine-Grained Image Categorization论文解读

来自于码隆科技的2020 AAAI的一篇关于细粒度识别的文章，来自公司论文很不好的一点就是可能不会开源源码，这一点比较遗憾。
思维导图

Contributions

1. 提出了一个self-channel interaction（SCI）模块，对图像中不同通道之间的相互作用进行建模，这使它能够捕获每个通道的通道补充信息，从而增强了每个通道学习到的判别特征
2. 提出了一个 novel contrastive channel interaction (CCI) 模块，学习图像之间的通道关系，动态地从两个比较的图像中识别出distinctive region。

Methodology

整个的model如上图所示，给定一个图像对，然后两个图像先经过backbone提取特征，生成一对feature map，随后经过SCI模块，来获取每个通道的补充信息，然后将原始特征和补充信息中的distinctive feature汇总在一起，然后将汇总后的特征输入到CCI模块，通过这个模块中的对比性损失，对两个图像之间的通道方向关系进行建模。

Self-Channel Interaction

通过上图，我们可以看到在特征通道中丰富的编码知识，并没有仅仅的去获取most discriminate channels，而是去尝试计算通道级的关系，来提取互补信息，然后将其与原始特征进行编码以进行细粒度分类。
输入图片$I$，$X^{{}^{\prime }}\in {\mathbb{R}}^{w\times h\times c}$表示通过backbone提取的特征，然后将其reshape成$X\in {\mathbb{R}}^{c\times l},l=w\times h$，SCI模块的输出是

其中$W$表示SCI的权重矩阵，其计算方式如下

其中${\sum }_{}$