论文阅读：Real-time Semantic Segmentation with Fast Attention

Real-time Semantic Segmentation with Fast Attention

摘要

对于语义分割任务，准确性的提升需要更大的感受野和更精细的空间特征，代价是计算开销的增长。为了解决这两个问题，本文提出了一个FA（快速注意力）方法，实现了速度和准确性的双赢。

贡献

1） 为了有效地进行语义分割，我们引入了非局部上下文聚合的快速注意模块，并将其推广到一个时空版本的视频语义分割中。

（2） 我们的经验表明，在网络的中间特征阶段应用额外的空间约简可以有效地降低计算成本，同时增强模型丰富的空间细节。

（3） 我们提出了一个快速注意力网络，用于图像和视频的实时语义分割，其准确度和效率都比以前的方法高很多。

方法

FA

这里提到了一个 self-attention，和我这篇讲的论文阅读：LRNNet:一种高效减少非局部操作的轻量级实时语义切分网络里用到的方法一样，都是参考自2018年的《 Non-local neural networks》。

Eq.1的计算复杂度：