S3-ShelfNet 论文解读

最新推荐文章于 2024-04-12 09:39:21 发布

小吕同学吖

最新推荐文章于 2024-04-12 09:39:21 发布

阅读量1.5k

点赞数

分类专栏： # 语义分割

本文链接：https://blog.csdn.net/l2181265/article/details/87121090

版权

语义分割专栏收录该内容

12 篇文章 2 订阅

订阅专栏

ShelfNet

ShelfNet不同于标准的编码器-解码器结构，它具有多个编码器-解码器分支对，每个空间级别上都有跳跃连接，看起来就像一个有多个列的书架。该框架结构为信息流提供了多条路径，提高了分割精度。受循环卷积神经网络成功的启发，我们使用了两个卷积层共享权值的改进残差块。共享权块支持有效的特征提取和模型大小缩减。

1、介绍

语义分割的应用领域：场景分析、对象检测、实例分割等任务。

ShelfNet架构
在这里插入图片描述
A-D代表不同的空间层次。列1-4表示不同的分支：我们将列1和列3命名为编码器分支(下采样分支)，将列2和列4命名为解码器分支(上采样分支)。我们在编码器分支中使用跨距为2的卷积，在解码器分支中使用跨距为2的转置卷积。

在这个项目中，我们使用ResNet作为ShelfNet的主干。通过减少渠道的数量提高推理速度,我们使用1×1卷积层后接batch-normalization和relu层，在空间A-D水平上，将通道的数量从256,512,1024,2048转变(输出)到64,128,256,512。输出的张量从1×1块A4经过卷积层和softmax操作生成预测。

主要贡献：
（1）我们提出了一种多路径卷积神经网络(ShelfNet，图2)，它的结构是一个多列书架的形状。ShelfNet与标准的编码器-解码器结构不同，它有多个编码器对，每个空间分辨率级别上都有跳跃连接。ShelfNet独特的结构大大增加了从输入到输出的路径数，改善了网络中的信息流。
（2）提出了一种有效的残块修正方法。受循环卷积神经网络[1]成功的启发，我们提出在残差块中使用两个卷积层的共享权值。共享的权值设计可以更有效地提取特征，并减少模型的大小。此外，我们在残差块中添加了两个卷积层之间的dropout层，以避免过拟合。

2、相关工作

2.1、语义分割

编码器-解码器网络结构：FCN、U-Net、RefineNet

U-Net和RefineNet都为编码器使用“卷积池”策略。池化层降低了空间分辨率，影响了预测精度。为了克服这个问题，Chen等人提出了基于扩展卷积的DeepLab[3]，其中核的感知场发生了扩张，如图3所示。在这里插入图片描述
2.2、实时语义分割

目前最先进的语义分割模型运行时间长。基于扩张型CNN的DeepLab v3、PSPNet和EncNet的成功是以沉重的计算负担为代价的。与“卷积池”策略相比，扩张后的CNN输出的张量与通道数相同，但空间尺寸大得多，因此运行速度明显降低。因此，基于扩张型CNNs的网络不适合实时语义分割。其他策略依赖于基于传统模型(如条件随机场(CRF))的预测改进，这些模型的计算成本也很高，而且很难部署到GPU上，因此不适合实时应用程序。

基于此，我们提出了一个具有多个编码器-解码器对的网络，并在不同的空间层次上(如图2中的a -d)进行跳转连接，在推理速度和分割精度上都优于以往的方法。

3、方法

3.1、ShelfNet的架构

3.2、ShelfNet作为SegNets的chain（网络的结合）

在这里，我们展示了ShelfNet可以被看作是修改的SegNets。仅从图2中的分支3和分支4来看，它的结构与SegNet类似，只是下样本分支和上样本分支的输出在ShelfNet中求和，在SegNet中连接。忽略主干的差异，分支1和分支2可以看作是另一个SegNet。这两个子SegNet在分支2和分支3之间的A-C级连接。与图2的结构类似，我们可以在分支4之后再添加一对下样本和上样本分支(记为分支5和分支6)，在分支4和分支5之间进行跳转连接，生成更加复杂的ShelfNet。

3.3、ShelfNet作为FCNs的ensemble（结合）

ShelfNet可以看作是FCNs的集合。Andreas等人认为ResNet的行为类似于浅层网络的集合，因为剩余连接为有效的信息流提供了多条路径。类似地，ShelfNet提供了信息流的多条路径。为了便于表示，我们将主干表示为第0列，并在此列出一些路径作为示例，如图4所示:

(1) (Blue line in Fig. 4)A0 → A1 → A2 → A3 → A4,
(2) (Green line in Fig. 4) A0 → A1 → A2 → A3 → B3 → C3 → C4 → B4 → A4,
(3) (Red line in Fig. 4)A0 → B0 → B1 → B2 → A2 → A3 → A4,
(4) (Orange line in Fig.4)A0 → B0 → C0 → D0 → D1 → D2 → C2 → B2 → B3 → C3 → C4 → B4 → A4.

每个路径都可以看作是FCN的一个变体(除了ResNet主干中有池层)。因此，搁置作为潜力捕捉更多的复杂特征，并产生更高的准确性。
在这里插入图片描述
与SegNet相比，ShelfNet中FCN路径的有效数量要大得多。路径的总数随着编码器-解码器对的数量呈指数增长(例如：列1和2、3和4为两对)和空间级数(如图2中的A到D)，不考虑ResNet中残余连接产生的有效路径，对于一个具有4个空间级(A - D)的SegNet, FCN路径总数为4;对于具有相同空间级别的ShelfNet, FCN路径的总数为29。ShelfNet的特殊结构大大增加了有效FCN路径的数量，从而产生更高的分割精度。

3.4、Shared-weights残差模块

与SegNet相比，FCN路径的有效数量更多，但需要额外的块。为了减小模型尺寸，更有效地提取特征，我们提出了如图2 (b)所示的改进残差块，在同一个块中，两个卷积层的权值相同，但是两个批处理归一化层的权值不同。共享权设计重用了卷积的权值，具有与递归卷积神经网络[1]相似的特征。在两个卷积层之间添加一个drop-out层，避免过拟合。共享权残块结合了跳跃连接、递归卷积和退出正则化的优点，其参数比标准残块少得多。
在这里插入图片描述

5、结论

我们提出了ShelfNet用于实时语义分割，它具有多对编码器-解码器分支，相邻分支之间有跳跃连接。ShelfNet的特殊结构为信息流提供了更多的路径。我们在三个基准数据集上验证了该算法的高分割精度和快速运行速度。ShelfNet实现了与最先进的离线模型相当的分割精度，以及4到5倍的更快的推理速度。我们将在决定接受盲审后公布实施情况。我们希望ShelfNet能够提供一个关于shelf-shaped结构的新视角，我们的实现将有益于语义分割的工作。