qq_38343151的博客

由于街景的物体差异性大，正确编码对尺度信息的意义上的高级特征是非常困难的。使用扩张卷积(Atrous Convolution)能够在不牺牲特征空间分辨率的同时扩大特征接收野，DeepLab系列工作结合多尺度信息和扩张卷积的特点提出了ASPP模块，将不同扩张率的扩张卷积特征结合到一起。但对于街景分类任务来说，并不能达到很好的效果，所以提出了密集型的ASPP，DenseASPP模型。ASPP模块扩展卷积的出现解决了在特征图尺寸与感受野之间的矛盾问题。多尺度信息有助于解决模糊情况并有助于图像分类。 为此，

特征图解析度对图像进行连续的下采样会造成图像解析度的下降，会导致两个缺点：１．造成空间信息的损失，造成无法分割细节信息２．与下采样对应，我们需要做连续的上采样，将会增大模型尺寸与计算成本虽然有上面两个缺点，但是语义分割任务下采样是不得不做的，如果不进行下采样，则每次卷积都在原图大小上进行，这将是非常非常大的计算量，这也是为什么deeplab系列只有部分下采样替换为空洞卷积的原因．既然下采样非做不可，那么我们应该如何减小上面两个缺点的影响呢？　　FCN网络提出了跳跃结构，即不同卷积层次的特征图都用于

本文提出的判别特征网络（Discriminative Feature Network/DFN）包含两个子网络 Smooth Network 和 Border Network，它有效解决了绝大多数现有语义分割方法面临的类内不一致（intra-class inconsistency）与类间无差别（inter-class indistinction）问题。intra-class inconsistency：类内不一致。这表示一个区域内，有着相同的语义标签，但是预测结果有所不同。(如下图第一行)inter-c

基于轻量化网络模型的设计作为一个热门的研究方法，许多研究者都在运算量、参数量和精度之间寻找平衡，希望使用尽量少的运算量和参数量的同时获得较高的模型精度。目前，轻量级模型主要有SqueezeNet、MobileNet系列和ShuffleNet系列等，这些模型在图像分类领域取得了不错的效果，可以作为基本的主干网络应用于语义分割任务当中。然而，在语义分割领域，由于需要对输入图片进行逐像素的分类，运算量很大。通常，为了减少语义分割所产生的计算量，通常而言有两种方式：减小图片大小和降低模型复杂度。减小图片大小可以

图像语义分割，简而言之就是对一张图片上的所有像素点进行分类。通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述（概率），比如分类模型输出一个1000维的向量表示输入图像属于每一类的概率(softmax归一化)。我们分类使用的网络通常会在最后连接几层全连接层，它会将原来二维的矩阵（图片）压扁成一维的，从而丢失了空

α表示尺度系数，初始化为0，并逐渐地学习分配到更大的权重。每个位置的结果特征E，是所有位置和原始位置的加权和。因此它具有全局上下文视图，并能根据空间注意力图有选择地聚合上下文。β表示尺度系数，初始化为0，并逐渐地学习分配到更大的权重。每个通道的结果特征E，是所有通道特征和原始特征的加权和。实现了对特征图之间的长程语义依赖关系建模，有助于提高特征的辨别性。 import numpy as npimport torchimport mathfrom torch.nn im...

该论文提出新型的场景分割网络DANet，利用自注意力机制进行丰富语义信息的捕获，在带有空洞卷积的FCN架构的尾部添加两个并行的注意力模块：位置注意力模块和通道注意力模块。提出背景当前的主流的语义分割网络应该就是空洞卷积和解码器这两个元素的组合。但这两个组件都是利用局部特征（因为卷积操作就是稀疏连接嘛，一次卷积能覆盖特征图全部的信息吗？当然不行啦，所以说是利用局部特征），作者提出两种模块，分别从分辨率维度（spatial）和通道维度来引入全局的信息，将局部特征和全局的依赖性自适应地整合到一起。之

空洞卷积（dilated convolution）是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。dilated的好处是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能很好的应用dilated conv。利用添加空洞扩大感受野，让原本3 x3的卷积核，在相同参数量和计算量下拥有5x5（dilated rate =2）或者更大的感受野，从而无需下采样。.

简单的双线性上采样的一个缺点是, 其在准确恢复像素预测方面的能力有限.双线性上采样不考虑每个像素的预测之间的相关性，因为它是数据独立的.

图像语义分割的目标是对每个像素都进行语义分类，它是当前计算机视觉领域最重要、最具挑战性的任务之一。语义分割的问题之一来自于其处理的图像中存在尺寸不一的物体及背景区域，这种尺寸分布的差异给特征表示和关系建模带来了不少困难。传统的解决方法： 设计精巧的模型结构来缓解这种差异，然而无论是人工设计还是基于NAS模型搜索得到的网络，都尝试在单个网络框架中编码所有的像素区域，在现实环境中缺乏对各种尺度分布的适应能力。Introduction本文中，旷视研究院针对语义分割任务提出一个全新的理念：动态路径选择（D

在DeepLab V3+中通过采用了encoder-decoder结构，在DeepLab V3中加入了一个简单有效的decoder模块来改善物体边缘的分割结果。除此之外还尝试使用Xception作为encoder，在Atrous Spatial Pyramid Pooling和decoder中应用depth-wise separable convolution得到了更快精度更高的网络，在PASCAL VOC 2012数据集上达到state-of-art的效果。Paper:https://arxiv.o.