LRNNET-71FPS vs 72.2％mIou，实时语义分割新方法 | A LIGHT-WEIGHTED NETWORK WITH EFFICIENT REDUCED NON-LOCAL

总结：新的轻量级模块+Non-Local精简模块，实现了速度与性能的最好权衡，看的不是很仔细
论文地址：https://arxiv.org/pdf/2006.02706.pdf

Abstract：

轻量级神经网络的最新发展促进了深度学习在资源限制和移动应用程序下的应用。这些应用程序中的许多应用程序需要使用轻量级网络执行实时高效的语义分割预测。本文介绍了一种轻量级的网络，该网络具有高效的简化non-Local模块（LRNNet），可进行高效且实时的语义分割。我们在ResNet样式编码器中提出了分解卷积块，以实现更轻量，高效和强大的特征提取。同时，我们提出的精简non-local模块利用空间区域优势奇异矢量来实现精简且更具代表性的non-local特征集成，而计算和存储成本则更低。实验证明了我们在轻量，速度，计算和准确性之间的卓越权衡。无需额外的处理和预训练，LRNNet仅使用精细标注数据进行训练就可以在Cityscapes测试数据集上实现72.2％的mIoU，仅在0.68M参数训练和GTX 1080Ti卡上运行达到71FPS的速度。

Introduction：

本文贡献总结：

1.轻量级卷积模块-提出了分解卷积块（FCB），以通过更适当的方式处理远距离和短距离特征来构建重量非常轻，功能强大且高效的特征提取网络。

2.Non-Local模块改进-提出有效的简化non-local模块（SVN），利用区域奇异矢量来产生更多简化和代表性特征，以对远程依赖性和全局特征选择进行建模。

3.所有实验都显示了本文方法在Cityscapes 和Camvid 数据集上的LRNNet的参数大小，速度，计算和准确性方面的最新权衡。

Method：

如上图（a）（b）所示，网络整体结构包含一个FCB模块组成的编码器和SVN增强的解码器。

A.Factorized Convolution Block（FCB）

结合了之前因子分解卷积的优劣势，提出了FCB模块，具体操作为：
1）对输入特征进行channel split分为两组

2）对两组特征使用一维分解卷积处理短距离和空间较少的信息特征，它们在通道中完全相连，因此分解卷积大大减少了参数和计算量，这部分用于捕获短距离特征联系

3）两组输出concat后。为了扩大感受野范围，使用大空洞参数的深度可分离卷积，有效降低计算的同时，捕获长距离特征依赖

4）逐点卷积之后使用残差连接，并且在最后设置了通道shuffle操作

B.SVN Module

提出一种对传统Non-Local模块精简复杂度的新方法。与ANN中的对Key和Value分支使用金字塔池化采样出具有代表性特征类似（本文也与此方法做了对比试验）。本文是使用奇异值分解的方法来降低采样点个数，具体操作为：

1）对输入特征CxHxW使用1x1卷积，进行通道降维，节省计算量，得到输出特征X

2）将X均分成s块，每个子区域大小为H/s X W/s。然后对于每个子区域，然后使用幂迭代算法1有效地计算其主优势奇异矢量（C’x1）。也就是使用奇异值分解方法（SVD）保留主奇异值

3）同时进行多尺度的2）操作。执行了多尺度区域提取，收集了来自不同尺度的优势奇异矢量作为Key和Value

4）将Key与Value与Query点乘，与原图残差相加

Experiments：

备注：实验中，不带SVN、带单尺度SVN和带多尺度SVN的LRNNet，分别称为模型A，模型B和模型C

1.Ablation Study：

2.Cityscapes：

3.Camvid：