CVPR2020（ReID）：Relation-Aware Global Attention个人理解

先贴原文链接及GitHub网址，如若侵权，请联系删除。

本文的创新是提出了一个Relation-Aware Global Attention (RGA) module，该module可以捕获全局结构信息用于注意力学习。

创新点（贡献）：

1. 本文通过从features之间相关性的全局视角来学习每个feature node之间的注意力。作者认为全局范围内的相关性拥有有价值的结构（类似于聚类）信息，并从一个学到的函数（卷积网络）来从相关性中挖掘语义关系，从而获得注意力。
2. 本文设计了一个Relation-aware global attention (RGA) module，该module通过两个卷积层（卷积核为1x1）来表示全局范围内的相关性，并基于他们来获得注意力。该思想被应用到空间维度（RGA-S），和通道维度（RGA-C）。

关键技术（对应于文章第三章）

3.2 Spatial Relation-Aware Global Attention（空间）

输入：特征张量（feature map）： 

输入：空间注意力图（spatial attention map）大小为 

根据输入feature map，获得  feature nodes，其中每个feature nodes  的维度为  ，即  。将这  个nodes看成图  的  个节点。

从节点  到节点  的对级相关性  定义为嵌入空间中的点乘相关性（dot-product affinity）。

其中  和  为两个嵌入函数（1x1卷积层 + BN层 + ReLU）。反映在代码中，如下所示：

# Embedding functions for modeling relations
		if self.use_spatial:
			self.theta_spatial = nn.Sequential(
				nn.Conv2d(in_channels=self.in_channel, out_channels=self.inter_channel,
								kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(self.inter_channel),
				nn.ReLU()
			)
			self.phi_spatial = nn.Sequential(
				nn.Conv2d(in_channels=self.in_channel, out_channels=self.inter_channel,
							kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(self.inter_channel),
				nn.ReLU()
			)

同理，可以得到节点  到节点  的对级相关性  。

本文使用  来描述  和  的双向相关性，然后使用相似性矩阵  来表示所有节点之间的对级相关性。

对于第  个feature node，本文以一个确切的固定顺序来堆叠所有nodes的对级相关性，其中node id为  ，相关性向量为  ，示例可参考图3（a），  。

为了学习第  个node的注意力，本文将feature  本身和相关性向量串联来探索global scope structural information relative和local original information。

因为  与相关性向量不在同一个feature domain中，因此使用下列公式将其转换，并进行串联获得  。

其中  和  分别为特征  本身和全局相关性  的嵌入函数（1x1卷积层 + BN层 + ReLU）。反映在代码中，如下：

# Embedding functions for original features
		if self.use_spatial:
			self.gx_spatial = nn.Sequential(
				nn.Conv2d(in_channels=self.in_channel, out_channels=self.inter_channel,
						kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(self.inter_channel),
				nn.ReLU()
			)
# ...
# Embedding functions for relation features
		if self.use_spatial:
			self.gg_spatial = nn.Sequential(
				nn.Conv2d(in_channels=self.in_spatial * 2, out_channels=self.inter_spatial,
						kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(self.inter_spatial),
				nn.ReLU()

然后通过学到的模型从其中挖掘有价值的知识来生成注意力值  。

其中  和  为1x1卷积操作 + BN，  通过比例因子 来降维，  将通道维度降为1。反映在代码中如下：

# Networks for learning attention weights
		if self.use_spatial:
			num_channel_s = 1 + self.inter_spatial
			self.W_spatial = nn.Sequential(
				nn.Conv2d(in_channels=num_channel_s, out_channels=num_channel_s//down_ratio,
						kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(num_channel_s//down_ratio),
				nn.ReLU(),
				nn.Conv2d(in_channels=num_channel_s//down_ratio, out_channels=1,
						kernel_size=1, stride=1, padding=0, bias=False),
				nn.BatchNorm2d(1)
			)

3.3 Channel Relation-Aware Global Attention （通道）

输入：特征张量（feature map）： 

输入：通道注意力向量（channel attention vector）大小为 

根据输入feature map，获得  个feature nodes，其中每个feature nodes  的维度为  ，即  。将这  个nodes看成图  的  个节点。

从节点  到节点  的对级相关性  定义为嵌入空间中的点乘相关性（dot-product affinity）。

其中  和  和空间通道的定义一致。

3.4 Analysis and Discussion

RGA VS CBAM: CBAM采用7x7的卷积核+sigmiod激活函数来决定空间特征位置的注意力，即只有中心位置的7x7=49个近邻feature nodes被用来计算注意力。而RGA-S联合利用所有空间位置的feature nodes来全局决策注意力值，并且仅使用1x1的卷积核。

RGA VS NL and SNL: 对于目标特征位置，NL汇总特征后加到原始特征中用于refinement，计算源位置特征的加权和。NL仅通过一种决策方式使用相关性作为权重用于特征合成。缺乏目标位置的特定适应性。RGA通过一学到的建模函数(卷积)从相关性的全局范围结构信息来挖掘知识。

4.2 实验结果

5 Conclusion

本文提出一种简单有效的Relation-Aware Global Attention module，可以建模全局范围内的结构信息，并通过学到的模型来推理注意力。对于每个特征位置，堆叠每个特征和所有特征之间的相关性，串联特征本身来推理当前位置处的注意力。

个人总结：

个人感觉这篇文章创新点只有一个，也就是RGA-S，和RGA-C，优势是可以添加到不同的backbone中，作为一个单独的注意力模块，从实验结果上看是比较有优势的。看到baseline也能达到一个很高的准确率，这点我比较疑惑，因为其他论文里baseline的效果无法达到94.2%的准确率。罗大神的reid strong baseline也只能达到94.5%。我甚至觉得，这个baseline里面用的东西对提升准确率也有很大帮助。后续若有时间会再更新。