来自于码隆科技的2020 AAAI的一篇关于细粒度识别的文章,来自公司论文很不好的一点就是可能不会开源源码,这一点比较遗憾。
思维导图
Contributions
- 提出了一个self-channel interaction(SCI)模块,对图像中不同通道之间的相互作用进行建模,这使它能够捕获每个通道的通道补充信息,从而增强了每个通道学习到的判别特征
- 提出了一个 novel contrastive channel interaction (CCI) 模块,学习图像之间的通道关系,动态地从两个比较的图像中识别出distinctive region。
Methodology
整个的model如上图所示,给定一个图像对,然后两个图像先经过backbone提取特征,生成一对feature map,随后经过SCI模块,来获取每个通道的补充信息,然后将原始特征和补充信息中的distinctive feature汇总在一起,然后将汇总后的特征输入到CCI模块,通过这个模块中的对比性损失,对两个图像之间的通道方向关系进行建模。
Self-Channel Interaction
通过上图,我们可以看到在特征通道中丰富的编码知识,并没有仅仅的去获取most discriminate channels,而是去尝试计算通道级的关系,来提取互补信息,然后将其与原始特征进行编码以进行细粒度分类。
输入图片 I I I, X ′ ∈ R w × h × c X^{'}\in \Bbb{R}^{w\times h\times c} X′∈Rw×h×c表示通过backbone提取的特征,然后将其reshape成 X ∈ R c × l , l = w × h X\in \Bbb{R}^{c\times l},l=w\times h X∈Rc×l,l=w×h,SCI模块的输出是
其中 W W W表示SCI的权重矩阵,其计算方式如下
其中 ∑ k = 1 c W i k = 1 \sum_{k=1}^{c}W_{ik}=1 ∑