# 每天一篇论文 250/365 最大期望注意力语义分割网络

Expectation-Maximization Attention Networks for Semantic Segmentation

摘要

自我注意机制被广泛应用于各种任务中。它的目的是通过所有位置特征的加权和来计算每个位置的表示。因此，它可以捕捉计算机视觉任务的远程关系。然而，它在计算上很消耗。因为注意图是用w.r.t计算的所有其他位置。在本文中，我们制定了注意机制的期望最大化的方式，并迭代地估计一个更紧凑的一组基地的注意力地图计算。通过在这些基础上加权求和，得到的表示是低秩的，并且从输入中剔除噪声信息。所提出的期望最大化注意（EMA）模块对输入的方差具有鲁棒性，并且在存储器和计算方面也是友好的。此外，我们还建立了基地维护和规范化方法来稳定其训练过程。我们对流行的语义分割基准进行了广泛的实验，包括pascal voc、pascal context和coco stuff，我们在这些基准上达到了新的记录。

贡献

火燎的金刚，烟熏的太岁，可惜被吹了

方法