kevin_zhao_zl的博客

全景驾驶场景感知网络YOLOP包括一个共享的编码器和三个特定的解码器处理不同任务，解码器之间没有复杂的共享机制，保证网络的端到端高效训练。

多任务学习的目标是使得单个模型能够在多个任务上取得较好的结果，这样能够降低计算代价。该种模型的学习过程需要同时优化多种任务的损失，这些任务有着不同的学习难度、不同的维度以及不同的特征，对应着不同的损失函数，这很容易导致各个任务之间的学习程度不均衡。为此论文提出了一种用于多任务的蒸馏方法，首先为每个任务学习一个专用模型，然后学习一个多任务的模型用于最小化每个特定任务模型的损失并为单个模型生成相同特征。而专用模型会生成各自的特征，因此论文引入了一个针对单个任务的特征适配器来将多任务模型的特征映射到单一任务模型特

主干网络为STDCNet，Stage3、4、5输出的特征图下采样率分别为8、16、32，然后对大感受野的特征图应用全局平均池化，并应用ARM模块将两个不同阶段的特征图融合后，再与来自Stage3的特征图进行融合，输出8x下采样的特征图，最终分割头使用3×3CBR模块、1×1卷积和一个8x上采样来获得最终分割结果。

DDRNet用于道路场景的实时分割模型，模型基本流程如下图所示，网络经过一个主干模块后分为两个具有不同分辨率的平行分支，一个分支保持较高的分辨率另一个分支则通过多阶段下采样操作获得丰富的语义信息，两个分支的信息融合则通过双向桥接模块完成，模型最后还添加了一个DAPPM模块增加感受野以提取更丰富的语义信息。

  人像分割任务作为许多任务的一个中间阶段，对实时性要求极高，并且当前缺乏大规模的人像分割数据集，为此论文提出SiNet模型和用于进行数据扩充的简单方法。SINet中的空间压缩模块使用多尺度感受也来获取图像中不同尺寸的一致性信息，信息遮挡编码器则在不破坏全局一致性的前提下回复局部空间信息。该模型能够实现精度较高速度极快的人像分割，并且这种极轻量化的分割网络也在其他任务中给了我们应用的启发。论文地址工程地址  SINet包含空间压缩模块和信息遮挡编码器，前者通过使用多种尺寸的感受野信息来保持空间一致.

  人像分割任务作为许多任务的一个中间阶段，对实时性要求极高，并且当前缺乏大规模的人像分割数据集，为此论文提出ExtremeC3Net模型和用于进行数据扩充的简单方法。ExtremeC3Net基于改进的C3模块，能够实现精度较高速度极快的人像分割，并且这种极轻量化的分割网络也在其他任务中给了我们应用的启发。论文地址工程地址1. 改进的C3模块  之前的文章提到过C3模块，即Concentrated-Comprehensive Convolution Module，其指出了轻量化语义分割网络中常用.

C3即"Concentrated-Comprehensive Convolution"，文章指出轻量化语义分割模型多采用空洞可分离卷积，但是文章指出这种方式存在的信息损失，。论文地址工程地址  构建轻量化语义分割模型的一种方式是使用深度空洞可分离卷积，但是空洞卷积和深度可分离卷积两种方式的简单结合，形成了一个过于简单的操作，造成了特征图的信息损失导致模型表现衰退（深度可分离卷积对标准卷积的不恰当近似；空洞卷积造成的相邻像素信息损失即网格效应），为此提出了C3模块，分为两个阶段，第一个阶段使用两个深.

本文总结分析了主流语义分割模型架构演进过程，涉及FCN、DeepLab系列、RefineNet、PSPNet、BiSeNet、FastFCN、ConvCRFs、DUpsampling、DFANet、DANet、FickleNet、LedNet、ACNet等在内的20多个模型，本来是2019年一次组会的分享，这里重新总结，就当复习一下了。

该论文提出新型的场景分割网络DANet，利用自注意力机制进行丰富语义信息的捕获，在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块：位置注意力模块和通道注意力模块，论文在Cityscapes，PASCAL Context和COCO数据集上都取得了SOTA效果。

该论文通过图像合成方法检测训练中未出现的类别未知的物体，首先语义分割网络给类别未知物体的区域打上一个可信度较低的标签，这样根据语义分割结果重新生成原始输入时就会在该区域与真实的输入图像产生较大的差别，检测类别位置物体的任务变为检测合成图像与原始图像差别较大的区域。

该论文提出了一种基于视频帧预测的方法合成训练样本来对训练数据集进行增广以获得精度更高的语义分割网络。具体地，论文利用视频帧预测模型的能力同时获得更多的图像和标注，并且使用联合传播策略来消除合成样本中的误差，另外还设计了新颖的边界标签松弛技术使得训练过程对于合成样本数据和注释的偏差更加鲁棒。

论文提出FickleNet，探索深度卷积神经网络特征图不同位置的组合，学习神经网络各隐藏单元的一致性关系以识别目标的显著部分同时获得精准的边界以及其他部分。FickleNet通过Dropout层实现卷积神经网络隐藏层各单元的随机结合，为单幅图像上产生多个位置图，得到多个形状不同的区域，从而更快地描绘出目标的轮廓，FickleNet可以视为不需要多个扩张率就可以匹配不同形状和尺寸目标的扩展卷积的推广，只需在任一语义分割模型上添加一简单层，就可以在Pascal VOC 2012上的弱监督和半监督方法中取得较好的

论文提出用于实时语义分割的轻量级网络分割LEDNet，采用非对称编解码结构，编码模块采用带有通道分离和混洗的残差层，解码模块设计了APN模块减少计算开支，整个网络可以端到端训练。实验结果表明LEDNet在CityScapes上缺德了最好的速度与精度的权衡。

论文提出了一种全新的方法，基于时下流行的注意力机制，用于室内场景下的RGBD图像语义分割——通过利用图像深度信息，获得更好的语义分割效果，在包含40个类别的复杂室内场景通用数据集NYUDv2上取得了SOTA效果，mIoU达到了48.3%，论文主要的贡献在于一个注意力辅助模块和三平行分支的网络架构。

该论文提出了一种简单却有效的损失函数用于弱监督图像语义分割模型的训练，使用标准交叉熵损失用于有标注像素点，使用新型的门控CRF损失用于无标注像素点。整个方法不需要额外的预处理或后处理，能够端到端的训练。方法在基于点击和基于描画的弱监督标注数据中都取得了SOTA效果

论文提出了一种极其高效的用于实时语义分割的网络框架DFANet，从一个轻量级的主干网络开始，通过一些列的附属阶段来聚合有判别力的特征，减少模型参数的同时保持了良好的感受野并且增强了模型的学习能力，取得了实时语义分割上的SOTA效果

Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature AggregationDUpsampling-新型上采样模块:能够聚合丰富特征的数据相关型解码方式(CVPR2019)该论文提出新型上采样方法DUpsampling来替代双线性插值。实验表明，基于DUpsampling的解码器在多个通用数据集上取得了STOA效果，并且计算量仅有原有模型的20%~30%。

时下的语义分割模型通常在主干网络中使用扩展卷积来获得高分辨率的特征图，但是这样做会增加计算复杂度和内存占用。该论文提出了一种新型的联合上采样模块JPU(Joint Pyramid Upsampling)以取代扩张卷积，该方法有效降低了计算复杂度和内存占用，能够在多种已有模型中应用，并且不损失甚至会对最终精度有一定的提升。

论文地址：SegNet: A Deep Convolutional Encoder-Decoder Architecture for ImageSegmentation[Badrinarayanan V , Kendall A , Cipolla R . SegNet: A Deep Convolutional Encoder-Decoder Architecture for Scene S...

传统分类网络通过连续的pooling或者其他下采样层来整合多尺度上下文信息，这种方式会损失一些分辨率。并且，分类网络与稠密预测不同，稠密预测需要多尺度上下文信息，同时还要求足够大的输出分辨率。论文针对图像语义分割中的像素级别的预测分类提出了一种新的卷积网络模块。通过空洞卷积进行多尺度上下文信息聚合而不降低特征图大小，空洞卷积支持感受野的指数增长。

1. 随机场 (random field)  由若干位置组成的整体，每一个位置按某种分布随机地赋一个值，全体即组成一个随机场。2. 马尔科夫随机场(MRF)  马尔科夫随机场是随机场的特例，假设某一个位置的赋值只与和它相邻的位置相关。3. 条件随机场(CRF)  条件随机场是马尔科夫随机场的特例，假设马尔可夫随机场只有X和Y两个随机变量，一般情况下，X是给定的，Y是输出。  形式化定义...

普通下采样减小了图像的尺寸使得单个像素对应了更大的感受野，但是同时也使得分辨率下降，丢失了部分局部信息。此时自然想到需要一个不采用max pooling且仍能对应大感受野的采样方法，引入空洞卷积来解决下采样问题。传统的图像分析中，CRF主要用来做平滑处理，又因为short-range CRFs 可能会对我们恢复局部信息的目标起到反作用，所以使用全连接CRF，考虑全局信息。

DeepLabV2是在[V1]基础上的优化，不同与V1，模型采用Resnet代替VGG-16，提出ASPP代替标准多尺度处理进行多尺度的特征的捕捉和融合，取得了更好的效果。

RefineNet: Multi-Path Refinement Networks with Identity Mappings for High-Resolution Semantic Segmentation提出多路RefineNet，利用多个层级的特征，使得语义分割更加精确；利用Residual Connections(恒等映射)，使得梯度更加容易长/短传，使端到端的训练更加高效；提出chained residual pooling，可以从较大的区域捕捉捕捉的上下文信息

提出全局卷积网络。减缓定位任务和分类任务的矛盾，提出边界精细模块使得物体边界处的定位更加精细

提出具有全局优先级并且包含不同子区域的不同尺度信息的pyramid pooling module，论文的另一个贡献是提出了基于深度监督损失的有效的ResNet的训练方法

论文地址 ：Rethinking Atrous Convolution for Semantic Image Segmentation论文代码：Github链接1. 摘要  文章主要的工作：使用空洞卷积来调整滤波器的感受野并控制特征图分辨率使用不同空洞率的空洞卷积的串联或者并行操作来分割不同尺度的目标，捕获不同尺度的语义信息扩展的ASPP实现和训练的细节没有了DesneCRF的后...

论文地址 ：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation论文代码：Github链接1. 摘要  文章主要的工作是将空间金字塔池化和编解码模块结合，在DeepLabV3的基础上提出DeepLabV3+：使用DeepLabV3作为编码结构，再次基础上增加一个简单有效的解码模块来精...

论文中提出将已经表明的区域的知识推广到相邻的不确定的区域以产生密集的目标定位预测。为了实现这个目标，论文重新思考空洞卷积，发现空洞卷积在扩张感受野的同时不会增加过多的计算代价，这种特性对于将已判明区域的指示推广至未判明相邻区域非常适合，由此文章设计了多空洞率的卷积块来增强标准的分类模型.

论文中提出了一种新的双向分割网络BiSeNet。首先，设计了一个带有小步长的空间路径来保留空间位置信息生成高分辨率的特征图；同时设计了一个带有快速下采样册率的语义路径来获取客观的感受野。在这两个模块之上引入一个新的特征融合模块将二者的特征图进行融合，实现速度和精度的平衡。

当下用于语义分割和实例分割的方法使用的是完全不同的网络，二者之间没有很好的共享计算，该论文通过赋予Mask R-CNN一个使用特征金字塔网络的语义分割分支来在架构层面将这两种方法结合成一个单一网络来同时完成实例分割和语义分割的任务。

论文地址 ：OCNet: Object Context Network for Scene Parsingpytorch实现：github 链接1. 摘要  论文侧重于语义分割中的语义聚集策略，即不再逐像素的进行预测而是将相似的像素点聚集后进行语义分割，由此提出了目标语义池化策略，它通过利用属于同一物体的像素集合的信息来得到某一个该物体包含的像素的标签，其中像素集合被称为目标语义。  具体...

条件随机场(Conditional Random Fields, CRFs)因为具有对图像结构的建模能力可以作为一种有效的语义分割后处理方式，但是其缺点显著：一是训练和推断速度十分感人，二是其内部参数难以学习。该论文假设现有的全连接条件随机场框架具有条件独立性，从而提出以卷积的方式重新构建CRF，得到卷积条件随机场即ConvCRFs，使其参数能够利用反向传播算法进行优化，并且能够在GPU上高效实现以进行训练和推断过程的加速。

用于图像语义分割的全卷机神经网络FCN，创新点有：1.接收任意尺寸输入的全卷积网络2.使用反卷积的上采样3. 融合深层粗糙特征和浅层精细特征的跳跃结构