[论文笔记]Revisiting Dilated Convolution

最新推荐文章于 2021-09-17 23:28:07 发布
最新推荐文章于 2021-09-17 23:28:07 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 弱监督语义分割 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36686169/article/details/106155798
版权
本文提出一种基于扩张卷积的弱监督和半监督语义分割方法，通过改变扩张率扩大感受野，传递判别信息至目标区域，生成更致密的定位映射。采用抗噪声融合策略解决truenegative区域误显问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MDC论文笔记（Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation）


之前写的一些笔记，可能有些观点参考过其他博主，欢迎认领，侵删，转载请注明出处，谢谢

Abstract

  1. 研究背景
    弱监督语义分割同全监督在性能上的差距主要来源于难以生成致密的目标定位映射的局限性，因此该文章对扩张卷积(Dilated Convolution)的应用进行了重新审视
  2. 发现
    变化的扩张率可有效扩大卷积核的感受野并且能够将周围的判别信息传递到non-discriminative的目标区域
  3. 方案
    设计一个通用的分类网络，利用不同的扩张率生成可靠的目标定位映射，克服弱监督分割的限制因素
  4. 应用
    尽管提出的方案比较简单，但是在弱监督(仅含图像级标签)和半监督学习方式下均取得较好的效果

Introduction

Challenge

如何精确定位目标区域获得优质的object cues

Top-down approaches

很多学者提出自上而下的方法，利用分类网络生成类别明确的注意力线索用于目标定位。然而分类网络直接生成的注意力仅能识别到比较小和最具判别力的区域，比如类激活映射(Class Activation Mapping,CAM)
扩张卷积示意图
图1(a)：本文所提方案，在分类网络中使用不同扩张率的卷积块
图1(b)：生成的目标定位映射与CAM的比较

本文提出的方法

  1. 由于扩张卷积可以扩大感受野，进而将发现的目标区域信息传递到临近的区域，生成致密的目标定位
  2. 当扩张率过大时会导致true negative区域被错误地突出显示，本文提出采用一种简单有效的抗噪声融合策略来解决这个问题
  3. 利用所提方法生成定位映射去训练分割网络

Contribution

  1. 重新审视扩张卷积并发现它可以很好地满足生成致密的定位映射的要求，这对于弱监督和半监督学习来说是一种新的尝试
  2. 提出一种简单有效的方法利用扩张卷积向临近目标区域传递判别信息
  3. 可用于弱监督和半监督学习，均取得了较好的效果

Related Work

  1. 弱标注图像分割：边界框标注; 简笔标注; 实例点标注
  2. 图像级标注的语义分割
    (1) 多示例学习Multiple Instance Learning
    (2) 基于期望最大值算法(Expectation-Maximization)
    (3) 基于建议的方法：利用MCG生成的建议或者采用其他的网络生成建议会浪费大量的时间或导致属性较强的监督学习(MCG利用像素级标注图像样本进行训练)
    (4) STC大大提高的分割性能，但其主要胜在依赖于大量简单图像样本的训练
    (5) SEC综合了3个损失函数，但是它仅能提供小而稀疏的种子，这对于学习可靠的分割模型是不够的
    (6) AE-PSL方法尽管获得了较好的分割性能，但是该方法需要重复地去训练多个分类网络，而本文只需训练一个分类网络即可生成完整的目标定位区域

Proposed Method

Dilated Convolution

如下图所示，扩张卷积可通过扩大卷积核的感受野有效综合目标区域的上下文信息
扩张卷积的机制描述
图2：dilation是如何使信息迁移的

Multi-dilated Convolution for Localization

  1. 提出Multi-dilated Convolution(MDC)模块来对分类网络进行增强，生成致密的目标定位映射
    训练过程示意图
  2. 文章实现了两种卷积运算：
    (1) 利用标准卷积核(d=1)获得精确的目标定位映射，但发现的区域并不完整
    (2) 利用变化的扩张率扩大卷积核的感受野(d=3,6,9,…)，使得发现区域的判别信息向邻近的区域迁移，以发现更加完整的目标区域
  3. 存在问题及解决方案
    (1) 当卷积核的扩张率过大时，生成的目标定位映射同常会引入不相关的区域(比如true negative regions)。因此我们在本文中采用了较小的扩张率(d=3,6,9)
    (2) 然而采取了较小的扩张率后，仍会引入一些不相关的区域
    (3) 为解决(2)的问题，文章提出一种抗噪声融合策略。 文中提到，true positive区域通常可以通过两个或多个定位图来区分，而true negative区域则在不同的扩张下可表现出多样性。文章对不同卷积块(d=3,6,9)生成的定位图进行均值运算。然后将该均值映射添加到标准卷积块(d=1)的定位图中，生成最终的定位图，这样同时也不会丢失标准卷积块发现的精确的目标区域。
    (4) 利用显著性检测方法生成显著性映射图，对低值区域标记为背景
    训练过程细节示意图

Experiments

  • PASCAL VOC 2012数据集用于验证
  • CRF用于后处理
  • mIoU VOC2012数据集 test 60.8
  • failure cases： 当d=1时，具有大尺度和判别区域的目标只在一端突出显示(从一端到另一端信息很难通过较小的扩张率进行传递)。可能AE-PSL提出的对抗擦除方法可以解决这个问题
Revisiting-Dilated-Convolution-A-Simple-Approach-for-Weakly-and-Semi-Supervised
u010067397的专栏
01-05 903
when 魏云超组的18年 cvpr spot who 弱监督语义分割问题的新方法，用扩张卷积得到注意力图，可能能够在GAIN的大框架上面修改 why 提出 尽管弱监督分割方法取得了显着的进步，但仍然不如全监督的方法。我们认为性能差距主要来自他们学习从图像级监督产生高质量密集对象定位图的限制。 为了弥补这种差距，我们重新审视了空洞卷积[1]并揭示了如何以一种新颖的方式利用它来有效地克服弱...
【论文笔记】：Scale-Aware Trident Networks for Object Detection（TridentNet）
Activewaste
07-16 899
&Title: Scale-Aware Trident Networks for Object Detection &Summary 检测任务中存在目标尺寸多样化的问题，为了解决这一问题，作者采用的做法如下： 为了使模型对不同尺寸目标的“表达能力”近似，作者借鉴了SNIP的特征提取网络，采用了“scale-aware”的并行结构； 为了加快模型的推理速度，作者采用了dilated...
[深度学习从入门到女装]Revisiting Dilated Convolution: A Simple Approach forWeakly- and Semi- Supervised Semant
炼丹师
12-28 2392
论文地址：Revisiting Dilated Convolution: A Simple Approach forWeakly- and Semi- Supervised Semantic Segmentation   这是CVPR2018的一篇弱监督、半监督的语义分割的文章 弱监督Weakly-supervised Learning：所给样本只有弱标签，要学习出强标签。在这个分割图像上就...
弱监督语义分割---Revisiting Dilated Convolution论文阅读笔记
“ccc111”的博客
01-04 265
本篇文章着重介绍了Revisiting Dilated Convolution的原理与方法
Revisiting Dilated Convolution:A Simple Approach for WeaklyAnd SemiSupervised Semantic Segmentation
m0_48064374的博客
09-17 274
Revisiting Dilated Convolution:A Simple Approach for WeaklyAnd SemiSupervised Semantic Segmentation CVPR 2018，weakly supervised segmentation UIUC 知乎笔记
dilated convolution(转)
ch07013224的专栏
01-23 513
转自：https://www.zhihu.com/question/54149221 Dilated/Atrous Convolution 或者是 Convolution with holes 从字面上就很好理解，是在标准的 convolution map 里注入空洞，以此来增加 reception field。相比原来的正常convolution，dilated convolution 多了一...
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5033
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
弱监督的语义分割论文汇总（持续更新ing）
PRIS-SCMonkey的博客
05-27 6897
弱监督的语义分割论文汇总弱监督语义分割导读弱监督语义分割论文整理基于Bounding box的弱监督语义分割基于Image-level labels的弱监督语义分割基于Scribbles的弱监督语义分割基于Points的弱监督语义分割 弱监督语义分割导读 一般认为，图像级的标注是弱标注（例如图像分类的类别标注），像素级的标注是强标注（例如分割标注的mask标注），对于普通的分割任务来说： 数据是图像，标注是mask，这属于完全监督问题Supervised； 如果标注是annotations或者图像级标注，
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
图像语义分割(12)-重新思考空洞卷积: 为弱监督和半监督语义分割设计的简捷方法
kevin_zhao_zl的博客
12-21 4536
论文中提出将已经表明的区域的知识推广到相邻的不确定的区域以产生密集的目标定位预测。为了实现这个目标，论文重新思考空洞卷积，发现空洞卷积在扩张感受野的同时不会增加过多的计算代价，这种特性对于将已判明区域的指示推广至未判明相邻区域非常适合，由此文章设计了多空洞率的卷积块来增强标准的分类模型.
论文：Dilated Convolutions阅读笔记
weixin_42717395的博客
10-18 796
Dilated Convolutions 目录 Dilated Convolutions 1 概述 2 膨胀卷积操作 3 背景模型-多尺度聚集背景信息 4 前端模型 5 模型实验 6 结论 1 概述 本模型提出了一种新的卷积神经网络模块，主要是为了解决密集预测的问题。本模型采用了膨胀卷积，使感受野得到了指数级的拓展，而不损失覆盖率和分辨率。它可以聚集多尺度的背景信息，能应用在任...
如何获取图像的驱动_图像去雨这十年，从基于模型到基于数据驱动
weixin_39646405的博客
11-21 431
文献：Single Image Deraining: From Model-Based to Data-Driven and Beyond下载：https://arxiv.org/abs/1912.07150作者团队：香港城市大学&新加坡国立大学&江西财经大学&北京大学16 Dec 2019雨水去除的方法试图从由雨水条纹和雨水累积（或雨水幕效应）退化的图像中恢复干净的背景...
CVPR 2018 | 腾讯AI Lab入选21篇论文详解
腾讯AI实验室
03-21 2793
感谢阅读腾讯AI Lab微信号第21篇文章。近十年来在国际计算机视觉领域最具影响力、研究内容最全面的顶级学术会议CVPR，近日揭晓2018年收录论文名单，腾讯AI Lab共有21篇论文入选，位居国内企业前列，我们将在下文进行详解，欢迎交流与讨论。 去年CVPR的论文录取率为29%，腾讯AI Lab 共有6篇论文入选，点击 这里 可以回顾。2017年，腾讯 AI Lab共有100多篇论文发表在AI顶
语义分割（semantic segmentation）——U-Net
一抹烟霞的博客
05-26 482
一、定义 语义图像分割的目标是标记图像每个像素的类别。因为我们需要预测图像中的每个像素,所以此任务通常被称为密集预测。 二、参考资料 论文：U-Net: Convolutional Networks for Biomedical Image Segmentation 三、网络结构 四、Transposed Convolutions/ Deconvolution/up convolutions 卷积和池化的输出相对于输入尺寸缩小。池化通过增加视场,帮助我们理解图像中的物体是什么,但是这个操作也丢失了物体的
语义分割综述解读--主流方法篇
qq_35929347的博客
03-22 4519
论文：Survey on semantic segmentation using deep learning techniques 论文地址：https://www.sciencedirect.com/science/article/abs/pii/S092523121930181X 最近在了解语义分割相关方法，这篇综述原文十分的详细，将目前使用深度学习技术进行语义分割的主流方法分成10类进行阐述...
论文阅读理解 - Dilated Convolution
长风破浪会有时，直挂云帆济沧海
09-12 1万+
Dilated Convolution [Paper]: Multi-scale Context Aggregation by Dilated Convolutions [Caffe-Code] 1. Caffe 中的定义 Dilated Convolution 已经可在 Caffe 官方的卷积层参数中定义. message ConvolutionParameter { /...
变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。
mmc2015的专栏
08-31 2万+
总结的非常好，故转来，如果侵权，请告知，会及时删掉。 大家还是去看原文好，作者的文章都不错： https://zhuanlan.zhihu.com/p/28749411 https://www.zhihu.com/people/professor-ho/posts 写文章 变形卷积核、可分
18-Non-local-Neural-Networks
u010067397的专栏
01-11 755
when CVPR 2018 何凯明 RGB what 提出了“非局部神经网络”。受计算机视觉中的经典非局部均值方法的启发而来，非局部网络可以作为一个简单高效的通用模块，嵌入现有视觉模型中，实验证明能够提高图像及视频分类精度，用作者的话说，在视频分类任务上，即使没有任何花里胡哨的处理，我们的非局部模型也能在 Kinetics 和 Charades 数据集上获得与一些当前视觉竞赛的冠军模型相当...
Understanding Convolution for Semantic Segmentation读书笔记
u010213183的博客
06-07 1582
本文主要是对上采样和dilated convolution进行了修改，优点在于：1.扩大网络的感受野，以聚集更多的全局信息，2.解决由标准dilated convolution所引起的"gridding效应"，最后在cityscapes达到很好的效果。 DUC:不同于传统的一次性回复全分辨率的label Map，我们通过学习一系列放大滤波器将缩小的特征图放大到所需大小的密集特征图。DUC能够
Revisiting Skeleton-based Action Recognition
最新发布
03-08
### Skeleton-Based Action Recognition Research and Techniques In the field of skeleton-based action recognition, researchers have developed various methods to interpret human actions from skeletal data. These approaches leverage deep learning models that can effectively capture spatial-temporal features inherent in sequences of joint positions over time. One prominent technique involves utilizing recurrent neural networks (RNNs), particularly long short-term memory (LSTM) units or gated recurrent units (GRUs). Such architectures are adept at handling sequential information due to their ability to maintain a form of memory across timesteps[^1]. This characteristic makes them suitable for modeling temporal dependencies present within motion capture datasets. Convolutional Neural Networks (CNNs) also play an essential role when applied on graphs representing skeletons as nodes connected by edges denoting limb segments between joints. Graph Convolutional Networks (GCNs) extend traditional CNN operations onto non-Euclidean domains like point clouds or meshes formed around articulated bodies during movement execution phases[^2]. Furthermore, some studies integrate both RNN variants with GCN layers into hybrid frameworks designed specifically for this task domain; these combined structures aim to simultaneously exploit local appearance cues alongside global structural patterns exhibited throughout entire pose configurations captured frame-by-frame via sensors such as Microsoft Kinect devices or other depth cameras capable of tracking multiple individuals performing diverse activities indoors under varying lighting conditions without requiring any wearable markers attached directly onto participants' limbs/skin surfaces. ```python import torch.nn.functional as F from torch_geometric.nn import GCNConv class ST_GCN(torch.nn.Module): def __init__(self, num_features, hidden_channels, class_num): super(ST_GCN, self).__init__() self.conv1 = GCNConv(num_features, hidden_channels) self.fc1 = Linear(hidden_channels, class_num) def forward(self, x, edge_index): h = self.conv1(x, edge_index) h = F.relu(h) h = F.dropout(h, training=self.training) z = self.fc1(h) return F.log_softmax(z, dim=1) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值