weixin_42565571的博客

最近将注意力机制整合到分割任务通过强调特征里面的信息中来提升模型的表征能力。但是这些注意力机制忽略了一个暗含的分割子任务并且被卷积核的方格型形状所限制。我们提出了一个新颖的压缩注意力网络（SANet）结构，利用了一个高效的压缩注意力（SA）模型去计算两个分割图突出的特征：1）分组像素注意 2）像素级预测。特别指出，我们提出的压缩注意力模型通过引入注意力卷积通道在常规卷积上加了像素组注意力，所以以有效的方式引入一个空间-通道相互依赖。最终的分割结果由网络输出和四个阶段的多尺度上下文目标像素级预测增强融合所得。

BiSeNetv2是一篇比较经典的文章，优势是精度高，速度快。文章主题思想就是细节信息和语义信息对分割都非常重要，但是一般语义信息需要较深的网络取提取，而细节信息只在网络的浅层才能很好的保留。所以语义信息和细节信息恰恰对网络的深浅要求是矛盾的。假如网络比较深，下采样次数多，那么网络的语义信息能被很好的提取，但是细节信息却不能很好的保留，反之，细节信息可以很好保留，但是语义信息提取能力不足。本文总结了以前的网络大致的结构，以及他们如何解决这个问题。（a）带有膨胀卷积的结构，这样就可以减少下采样

摘要：我们提出了一种用于语义分割和边界检测的联合多任务学习框架。它的关键组成部分是迭代金字塔上下文模型（PCM），它是双任务的，并且存储分享潜在的语义在两个任务之间迭代。对于语义边界检测，我们提出以新颖的空间梯度融合去抑制非语义的信息。语义边界检测是双边任务的，我们引入基于边界一致性约束损失函数去提高语义分割的边界像素精。我们的方法在语义分割和语义边界检测两方面超越了SOTA，特别的，我们在Cityscapes test数据集实现了81.8%的mIoU（没有用额外数据），在语义边界检测上也超越之前的SOTA

论文地址：https://arxiv.org/pdf/2006.06628.pdf摘要：在边缘设备上如手机的实时视频推理由于人工神经网络的高计算量是非常与有挑战性的。在本文我们提出自适应模型流（AMS），一个点云端辅助的方法，应用于边缘设备上的视频推理。AMS关键的思想就是用线上学习连续的适应一个跑在边缘设备的轻量级模型去增强它的视频识别表现。模型在云端训练并定期的发送给边缘设备。我们讨论在线学习视频任务的挑战并提出一个实用的、考虑边缘设备、云端以及贷款限制的设计，我们的实验结果显示对比预训练的模型我们的

双边超分辨率学习语义分割 收录在cvpr2020摘要：现在的最好的语义分割办法用高分辨率的输入去提高模型性能，这种方法使得计算量增加很多。我们提出了灵活而简单的双支路网络框架（叫DSRL）可以很好的提高网络精度的同时不引入额外的计算量。具体的来说，我们的方法分为三部分：1.超分辨率分割（SSSR）2.单张图像超分辨率（SISR）3.特征关联（FA）模块。可以在低分辨率的输入的情况下保持高分辨率，同时减少计算量。这种方法还可以很简单的应用到其他任务上如人体姿态估计。我们的方法在人体姿态估计与Citysca

论文地址：https://arxiv.org/pdf/2003.10027.pdf这是Microsoft团队2020年发表的文章，提出动态relu激活函数称之为DY-RELU，比普通的relu函数效果好。简介：以前的relu不论是有参数的还是没用参数的都是静态的，本文提出动态relu，其参数（一个机能增强函数）由所有输入元素决定，其关键原理是DY-RELU编码全局上下文信息到它的机能增强函...

一、主要工作1.提出ESPNetV2，用分组卷积和深度可分离膨胀卷积学习大感受视野的表征，并且降低FLOPs和参数量。2.在上一个版本中的ESPNet中提出HHF模块，用特征图逐渐相加的方式来避免膨胀卷积带来的采样稀疏问题（网格效应）。3.将特征压缩后按通道分组进行不同膨胀率的卷积，减少了参数量，扩大了空间感受率。4.每一个基本的block都在输出中添加输入特征的池化信息，这样...

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9042876 年份：2020关键词：轻量级、精度和速度的平衡一、工作1.提出了一个高性能实时分割网络，用于分割城市街道景色。实现了速度精度更好的平衡。上图：和主流的一些网路的对比2.用到的模块：（1）distinctive atrous s...

原文链接：https://arxiv.org/abs/1912.01394一、主要思想本文提出了一种新的实时通用语义分割体系结构RGPNet，在复杂环境下取得了显著的性能提升。RGPNet由一个轻量级的非对称编码器-解码器和一个适配器组成。适配器有助于从编码器和解码器之间的多层分布式表示中保留和细化抽象概念。它也有助于从较深层到较浅层的梯度流动。大量实验表明，与目前最先进的语义分割网络相比...

XSepConv: Extremely Separated Convolution解读论文地址：https://arxiv.org/pdf/2002.12046.pdf摘要：深度可分离卷积在高效率的模型中逐渐变成一个不可或缺的操作。本文中我们提出了一个新的终极可分离卷积模块（XSepConv），它在深度可分离中结合了空间可分离，进一步减少参数和计算量。一个2x2的深度可分离卷积带有先进的对...

论文提出问题：以前的分割网络对于移动端设备，精度高的分割网络参数太多，而小网络的设计还遵循着分类网络（的设计），忽略了内在的（更深层的）语义信息。文中提出方法：context guide block（CG） ，优势是可以学习位置特征和环绕特征。CG block的特点：可以学习一个像素点和它周围环绕的点的关系，这包含了很多周边环境信息。利用全局上下文信息提高相邻的点的特征。全局上下文是为了...

**图像分割任务中的loss之weight我们在进行图像分割任务时会遇到以下loss表示形式：criterion = torch.nn.NLLLoss(ignore_index=ignore_label, weight=class_weights).cuda()这个loss函数中的weight参数是调节图像分割任务中的实例像素占比不同的现象，比如在cityscape数据集中路面的像素肯定比...