论文阅读：LRNNet:一种高效减少非局部操作的轻量级实时语义切分网络

一种高效减少非局部操作的轻量级实时语义切分网络

原文链接：https://arxiv.org/abs/2006.02706

CVPR 2020.64

论文的摘要里说该文章提出了一个卷积分解模块FCB用来进行特征提取，非局部操作模块使用空间主导奇异向量来减少计算量和内存开销。最后在Cityscapes测试集获得了72.2%的mIoU和仅0.68M的参数。

论文的出发点

卷积分解可以应用在构建轻量级网络中，但是一些研究并没有以一种好的方式平衡卷积分解和远程特征（一个减少参数和计算量一个参加参数个计算量）。
研究表明，注意力机制在计算机视觉中有巨大潜力。在语义分割中，非局部方法被用来建模远程依赖关系。然而，每个位置之间的建模关系的计算和内存开销可能相当大。由于有效的非局部或位置注意力没有发展到足够用于轻量级和有效的语义分割，本方法是一种简化非局部方法来高效地建模远程依赖和全局特征选择。

文章的主要贡献

• 我们提出了一种因子分解卷积块(FCB)，通过更恰当地处理长、短程特征，构建了一个非常轻量级、功能强大和高效的特征提取网络。
• 提出的高效约简非局部模块(SVN)利用区域奇异向量产生更简约、更具代表性的特征来建模长期依赖关系和全局特征选择。
• 所有实验表明，我们的LRNNet在城市景观[4]和Camvid[16]数据集上的参数大小、速度、计算和精度方面都达到了最先进的折衷。

METHODOLOGY

Preliminary

这里介绍了SVD奇异值分解，就不多说了。下面是上图红线提到的主导奇异向量求解算法

非局部操作模块，这里使用了query-key-value形式。

计算步骤

Step1:query与每个key进行相似度计算以得到权重

Step2:对权重归一化，整理成所有元素权重之和为1的概率分布

Step3:权重和相应key的value进行加权求和得到attention(query的对应输出)

$q_i$ 是输入，与 k j k_j k