[语义分割]--ICCV2019-Expectation-Maximization Attention Networks for Semantic Segmentation

摘要：

自我注意机制已广泛应用于各种任务中。它的设计是通过所有位置特征的加权和来计算每个位置的表示。因此，它可以捕获计算机视觉任务的长期关系。然而，这需要大量的计算。因为注意力图是计算w.r.t所有其他位置。在这篇论文中，我们将注意机制描述成期望最大化的方式，并迭代地估计一个更小的子集集合，在此基础上计算注意图。通过对这些基的加权求和，得到的表示是低秩的，并且可以从输入中去除有噪声的信息。我们所提出的期望最大化注意(EMA)模块对输入的方差具有较强的鲁棒性，并且在内存和计算方面也很友好。此外，我们还建立了bases 保留和归一化的方法保证了训练流程的稳定。我们在PASCAL VOC、PASCAL Context、COCO Stuff等流行的语义分割基准上进行了大量的实验，并创造了新的记录。

正文：

Motivation:

语义分割中颜色空间的数量在特定的数据集中是有一定限制的，因此，该任务可以看作是将高维噪声空间中的数据点投射到一个小的子空间中。其实质是去噪这些变异，捕捉最重要的语义概念。最近的SOTA语义分割算法（DANet，CCNet，ANNNet）都是基于non-local注意力机制的应用，用来提取全局上下文信息，同样的是目前non-local模块在特征图尺寸较大时，会带来很大的计算量和显存消耗。因此在本文中，作者没有将所有像素点看做一个重建的base，而是用EM算反去寻找更多的小的子集，提出了EMAnet，在EM算法中，我们将构造的基础作为学习的参数，注意图作为潜在变量。在这种情况下，EM算法的目标是找到参数(基)的最大似然估计。
本文的主要贡献如下:
•我们将自我注意机制重新表述为期望最大化迭代方式，这样可以学习更小的基集，大大降低计算复杂度。据我们所知，这篇论文是第一个将EM迭代引入注意机制的论文。
•我们将提出的期望最大化注意力作为神经网络的一个轻量级模块，并为基地的维护和归一化建立了具体的方式。
•在三个具有挑战性的语义分割数据集(包括PASCAL VOC、PASCAL Context和COCO Stuff)上进行了大量实验，证明了我们的方法相对于其他先进方法的优越性。
网络结构：

论文中用了大量的篇幅解释了EM算法相关内容和EMA Unit的设计过程，工作量满满，有兴趣的同学可以自己去详细看一看，我是比较关注模型的计算量和效果，non-local block的计算时间复杂度为O(HWHW)，本文提出的方法则为O(HWK)，在K << HW的情况下，计算复杂度可以大大减少。效果主要看以下实验。

实验结果：

1.EM迭代次数的实验分析

2.语义分割数据集上的表现