2019CVPR-目标分割-DANet-Dual Attention Network for Scene Segmentation

论文下载：paper-Dual Attention Network for Scene Segmentation
代码下载：pytorch-Dual Attention Network for Scene Segmentation

---

Dual Attention Network for Scene Segmentation

提出了双重注意网络（DANet）来自适应地集成局部特征和全局依赖。在传统的扩张FCN之上附加两种类型的注意力模块，分别模拟空间和通道维度中的语义相互依赖性。位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征。无论距离如何，类似的特征都将彼此相关。同通道注意力模块通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。将两个注意模块的输出相加以进一步改进特征表示，这有助于更精确的分割结果

一、上才艺（创新点）

• 提出了一个双重注意网络（DANet）来捕捉空间和通道维度中的全局特征依赖关系

• 建议使用位置注意力模块来学习特征的空间相互依赖性，并设计通道注意力模块来模拟通道相互依赖性。通过在局部特征上建模丰富的上下文依赖关系，显著改善了分割结果
  

二、主要内容

1.PAM-Position Attention Module

位置注意力模块旨在利用任意两点特征之间的关联，来相互增强各自特征的表达。

• 特征图A(C×H×W)首先分别通过3个卷积层得到3个特征图B、C、D，然后将B、C、D reshape操作维度变为C×N（N=H×W）。
• 然后将reshape操作后的B经过transpose(NxC)与reshape后的C(CxN)相乘，再通过softmax得到空间注意力S(N×N)
• 接着在reshape后的D(CxN)和S的转置(NxN)之间执行矩阵乘法，再乘以尺度系数α，再reshape为原来形状，最后与A相加得到最后的输出E其中α初始化为0，并逐渐的学习得到更大的权重

代码实现

import torch
from torch.nn import Module, Conv2d, Parameter,  Softmax

# 位置注意力模块旨在利用任意两点特征之间的关联，来相互增强各自特征的表达
class PAM_Module(Module):
    """ Position attention module
        1. 特征图A(C×H×W)首先分别通过3个卷积层得到3个特征图B、C、D，然后将B、C、D reshape操作维度变为C×N（N=H×W）。**
        2. 然后将reshape操作后的B经过transpose(NxC)与reshape后的C(CxN)相乘，再通过softmax得到空间注意力S(N×N)**
        3. 接着在reshape后的D(CxN)和S的转置(NxN)之间执行矩阵乘法，再乘以尺度系数α，再reshape为原来形状，
        4. 最后与A相加得到最后的输出E其中α初始化为0，并逐渐的学习得到更大的权重**
    """

    def __init__(self, in_dim):
        super(PAM_Module, self).__init__()
        self.chanel_in = in_dim

        self.query_conv = Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1)
        self.key_conv = Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1)
        self.value_conv = Conv2d(in_channels=in_dim, out_channels=in_dim, kernel_size=1)
        self.gamma = Parameter(torch.zeros(1))

        self.softmax = Softmax(dim=-1)
    def forward(self, x):
        """
            inputs :
                x : input feature maps( B X C X H X W)
            returns :
                out : attention value + input feature
                attention: B X (HxW) X (HxW)
        """
        # x:A  proj_query:B  proj_key:C  proj_value:D attention:S out: E
        m_batchsize, C, height, width = x.size()
        # .view() 返回一个有相同数据但大小不同的tensor。
        # .permute() 交换tensor的维度
        # .bmm()对存储在两个批batch1和batch2内的矩阵进行批矩阵乘操作
        proj_query = self.query_conv(x).view(m_batchsize, -1, width*height).permute(0, 2, 1)
        proj_key = self.key_conv(x).</