2020ECCV-Few-Shot Semantic Segmentation with Democratic Attention Networks

文章链接： 论文链接
代码地址：未公布

1. 主要思想

动机：

• masked averge pooling会导致输出包含噪声。（即该操作使得，该操作的输出表达能力不足）。
• 传统的图卷积网络会使得support和query之间的联系倾向于小部分。
  
  解决办法：
• 使用点对点的注意力机制。
• 提出了DAN( Democratic Attention Network)。通过抑制高激活区域，提升低激活区域，来提升其它部分对于结果的影响，建立大的激活区域。
• 多尺度DAN。

2. 模型

2.1 Democratized Graph Attention

  由于masked averge pooling的缺点，本文建立点对点的注意力机制。传统的图卷积机制会被少数重要的区域所主导，使得对新类物体失去泛化能力。

  DGA的过程如下：

1. 先建立支持特征和查询特征的k和v，这个过程通过单个卷积对f_q 和 f_s可得。

2. 对支持k和查询k计算矩阵亲和度来建立节点间的关系。

3. 为了让模型关注不那么重要的区域，先将像素点值降序排列，再根据索引值重分配激活值：（e为索引）

4. 再重新计算激活值：
   

5. 后续再通过softmax和矩阵乘法计算，如上图，就是比较简单的操作了。
   DAG仅仅在训练时使用，最终使得模型具有使用更多前景像素指导分割的能力。

2.2 Multi-Scale Guidance

应用在多个layer
RFU： 一个上采样模块，一个残差块。

3.实验

提升一般

5. 评价

权重重分配思路还是有意思的，但效果不大。