CCNet十字交叉注意力机制

原文链接：CCANet: Class-Constraint Coarse-to-Fine Attentional Deep Network for Subdecimeter Aerial Image Semantic Segmentation | IEEE Journals & Magazine | IEEE Xplore

基于Pytorch代码链接：https://github.com/speedinghzl/CCNet

本文的主要贡献主要是提出了

1. 提出了一个新的交叉注意模块，交叉注意力模块收集水平和垂直方向的上下文信息，以增强像素级代表能力。它可以更有效地从全图像依赖关系中获取上下文信息，利用周期性交叉注意力模块提出CCNet。

2.提出了类别一致性损失，可以加强交叉注意模块，以产生更多的区别特征。

具体步骤实现：

输入特征图，先经过两个1×1卷积生成Q和K，，1×1卷积起到降维作用，Q和K中的通道数小于输入特征图H的通道数，通过Affinity 之后经过softmax结构得到（attention map）,在Q的空间维度中的每个位置u处，我们可以得到一个向量，我们也可以通过从K中提取与u位置在同一行或列中的特征向量得到，是的第i个元素，通过Q和K之后得到

             

表示的是之间的相关度，，，然后，我们在通道维度上应用一个softmax层来计算注意图A。当我们得到所有的d之后，就得到A,在H上应用另一个具有1×1的卷积层来生成V,在V的空间维数中的每个位置u处，我们可以得到一个向量,,建立的是V中的一个特征向量的集合，它们位于位置为u的同一行或列中，上下文信息由如下定义的聚合操作收集。

其中是特征向量的位置u和是通道i处的标量值，位置u在A中，将上下文信息添加到局部特征H中，以增强像素级表示。因此，它具有广泛的上下文视图，并根据空间注意图选择性地聚合上下文。这些特征表示实现了相互收益，对语义分割更具有鲁棒性。