【弱监督语义分割论文阅读】基于多尺度注意力融合的弱监督语义分割自训练框架

最新推荐文章于 2024-06-04 15:48:09 发布
最新推荐文章于 2024-06-04 15:48:09 发布
阅读量279 收藏 2
点赞数
文章标签： 论文阅读 深度学习 计算机视觉 图像处理 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_zyth/article/details/134064093
版权

【论文阅读】基于多尺度注意力融合的弱监督语义分割自训练框架

文章目录


  A Self-Training Framework Based on Multi-Scale Attention Fusion for Weakly Supervised Semantic Segmentation

  由于难以获得完整的语义区域，基于图像级标签的弱监督语义分割(WSSS)具有挑战性，所以这里的标签都是用的图像级的标签

  为了解决这个问题，我们提出了一种利用融合的多尺度类意识注意图的自我训练方法

特征图中：

  • 特别是对于大对象和小对象，包含丰富的互补信息
  • 从不同尺度的注意图中收集信息，得到多尺度的注意图

  

我们应用去噪和再激活策略来增强潜在区域并减少噪声区域

;使用改进的注意力图对网络进行再训练

  

PASCAL VOC 2012验证集和测试集上进行实验

  

一、介绍

语义分割作为计算机视觉中的一项重要任务，在许多领域发挥着重要作用

训练一个完全监督的语义分割需要密集的注释

引入了弱监督语义分割(WSSS)，它只需要粗糙的标签

  

本文主要研究基于图像级标签的WSSS

  

现有方法大多采用类激活映射(Class Activation Mapping, CAM)提供初始位置线索，并作为伪分割标签训练语义分割模型

类感知注意图(CAMs)倾向于关注最具区别性的区域，这与语义分割所需的密集注释存在差距

为了减少CAM存在的差距：

  • 区域删除和增长
  • 使用额外的监督信息
  • 以及自监督学习

  

其实本质上都是为了生成更精确的伪掩码

当呈现不同尺度的图像时，WSSS模型的响应可能会有所不同
在这里插入图片描述

  

他们的注意力图像呈现出来的效果并不相同

这些差异表现出一定程度的互补性，这与图像中物体的大小有关

  

而缩小图像生成的注意图则可以更好地捕获语义信息

相应操作：

  • 利用多尺度注意图的自训练框架来提高模型的性能
  • 最初的多尺度注意图通常包含有噪声和未激活的区域。为了改进它们，我们采用了去噪和再激活策略
  • 使用改进的多尺度注意图来监督网络对单尺度图像的响应

  

在常见的实践中，多尺度方法往往直接用于推理阶段生成伪分割标签

去噪和再激活策略来改进多尺度注意图

  

具体贡献：

  1. 研究图像调整到不同的尺度时，大物体和小物体表现出互补的行为
  2. 利用融合多尺度注意图的自训练方法来增强模型挖掘语义特征
  3. 在PASCAL VOC 2012 val和测试集进行对比

  

二、联系工作

图像级WSSS以其高效率得到了广泛的研究

两阶段图像级WSSS遵循生成伪分割标签和训练全监督分割网络

  

最近的WSSS方法基于CAMs从图像和图像级标签中提取位置信息

cam只能捕捉到物体最具区别性的区域

  

造成这种现象的内在原因是分类和分割任务之间的差距。只有对分类至关重要的信息才能流向分类层

从cam中获得的伪分割标签往往是不准确的
  

强制网络更加关注非判别区：

  • 判别区擦除
  • 区域生长

  

引入了额外的监督信息：

  • 显著性图
  • 交叉图像
  • 子类别
  • 分布外数据

  

自监督学习在一些工作中也被用于提取信息，例如SEAM

RCA和PPC利用对比学习来确保共享相同标签的像素在特征空间中具有相似的表示

  

一些研究试图用Transformer代替CNN，并取得了可喜的结果

  
  

三、方法

整个框架

在这里插入图片描述
  

相应步骤：

  • 使用现有的WSSS方法预训练学生分支
  • 初始化教师分支
  • 教师分支负责生成融合的多尺度注意图，然后通过去噪和重新激活策略对其进行细化
  • 改进的多尺度注意图对学生分支进行训练

介绍了多尺度注意融合策略和反应性策略。随后，我们使用融合的多尺度注意图对模型进行训练

整体损失函数：

在这里插入图片描述
  

3.1 分类注意图

给定图像I和图像级标签y∈RK， 其中K是数据集中存在的类别数

我们可以从网络的最后一个卷积层获得类感知的注意图

  

从网络的最后一个卷积层获得类感知的注意图：

在这里插入图片描述

  • M为空间大小为K × H × W的类意识注意图
  • f(·)为主干
  • ReLU(·)激活函数后，对注意图进行归一化处理

  

最后一个卷积层之后是一个全局平均池化(GAP)层，得到图像级预测

使用交叉熵损失函数训练分类器

在这里插入图片描述
  

一旦分类器训练得很好，我们就可以利用M来生成伪分割标签

在这里插入图片描述
  

P代表的是生成的伪标签

  

3.2 多尺度注意力融合策略

在自我训练之前，我们使用现有的带有图像级标签的WSSS技术对学生分支进行预训练

我们用预训练的模型初始化教师分支，该模型具有初步的分割能力

在这里插入图片描述

我们采用了EPS来进行相应的操作

首先将原始图像调节到3个不同的尺寸大小

可以得到3组 class-aware attention maps

在这里插入图片描述

同时考虑了大规模和小规模的转换，以充分利用互补信息

提出了一种涉及平均注意图的融合策略，这是WSSS在推理阶段常用的方法，来进行融合

在这里插入图片描述

由于注意图在不同尺度上的大小不同，我们在将它们加在一起之前将它们调整为与Mo相同的大小

注意力得分的范围限制在[0,1]

Mk的最大值对第k个通道进行归一化，记为max(Mk)

  

为了衡量F和Mo之间的差异，我们使用多尺度注意一致性损失Lmac

在这里插入图片描述

  

3.3 去噪和再激活策略

F仍然有一些缺陷，包括噪音和未激活区域

将图像级标签纳入信道间去噪。具体来说，如果类k不存在于y中，我们将F中相应通道的值设置为0

F可以捕获比Mo更完整的区域

在这里插入图片描述

引入了一个再激活策略来细化f。具体来说，我们首先将后台通道的值设置为阈值，然后应用公式来重新激活这些区域

在这里插入图片描述

  

四、实验设置

PASCAL VOC 2012数据集设置：

  • 该数据集由20个语义类别和一个背景组成，
  • 分别包含1,464、1,449和1,456张图像，分别用于训练集、验证集和测试集
  • 我们使用了SBD增强训练集
  • 提供了10,582张图像
  • 方法的性能用平均相交-超并(mIoU)来评估

  

实验细节：

  • ResNet38[27]作为骨干
  • 使用EPS[3]对学生分支进行预训练
  • 预训练模型对教师分支进行初始化

对于教师分支，我们以【0.5, 1, 1.5, 2】的尺度调整原始图像的大小，并应用翻转操作

  

在学生分支中：

  • 批量大小为8
  • 动量为0.9
  • 权重衰减为5e-4的SGD

一旦我们的模型被训练，我们遵循在其他WSSS作品中概述的推理过程，使用Dense-CRF[28]生成伪分割标签

采用标准DenseCRF作为后处理步骤，以细化最终分割结果

在这里插入图片描述

川川子溢
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于纹元森林和显著性先验的弱监督图像语义分割方法_韩铮.pdf
09-01
论文仅供学习和参考。 该文提出一种基于纹元森林和显著性先验的弱监督图像语义分割方法。算法使用弱监督数据和图像显著性训练随机森林分类器用于语义纹元森林特征(Semantic Texton Forest, STF)的提取。测试时，先将图像进行过分割，然后提取超像素语义纹元特征，利用朴素贝叶斯法进行超像素标记的概率估计，最后在条件随机场(CRF)框架下结合图像显著性信息定义了新的能量函数表达式，将图像的标注(labeling)问题转换为能量最小化问题求解。在 MSRC-21 类数据库上进行了验证，完成了语义分割任务。
基于深度卷积神经网络的弱监督图像语义分割-论文
05-22
基于深度卷积神经网络的弱监督图像语义分割
SEAM:弱监督语义分割的自监督等变注意机制，CVPR 2020（口头）
05-29
接缝 的。 您还可以从下载存储库 抽象的 图像级弱监督语义分割是近年来深入研究的一个具有挑战性的问题。 大多数高级解决方案利用类激活图 (CAM)。 然而，由于全监督和弱监督之间的差距，CAM 很难作为对象掩码。 在本文中，我们提出了一种自监督的等变注意机制（SEAM）来发现额外的监督并缩小差距。 我们的方法基于观察到等方差是完全监督语义分割中的隐式约束，其像素级标签在数据增强期间采用与输入图像相同的空间变换。 然而，这种约束在通过图像级监督训练的 CAM 上丢失了。 因此，我们建议对来自各种转换图像的预测 CAM 进行一致性正则化，以提供网络学习的自我监督。 此外，我们提出了一个像素相关模块（PCM），它利用上下文外观信息并通过其相似的邻居细化当前像素的预测，从而进一步提高 CAM 的一致性。 在 PASCAL VOC 2012 数据集上进行的大量实验表明，我们的方法优于使用相同监督级
融合多尺度信息的弱监督语义分割及优化
01-14
为提高弱监督语义分割算法精度，提出一种融合多尺度特征的分割及优化算法。首先，基于迁移学习算法构建多尺度特征模型，类别预测时引入新分类器，减少因预测目标类信息错误导致分割失败的情况；其次，将多尺度模型与原迁移学习模型进行加权集成，增强模型泛化性能；最后，结合预测类可信度调整分割图中相应类像素的可信度，规避假正例分割区域。在VOC 2012验证集上的平均交并比为58.8%，测试集上的平均交并比为57.5%，同比原迁移学习模型分别提升12.9%和12.3%，也优于其他以类标作为监督信息的语义分割算法。
【深度学习】语义分割：论文阅读(没太懂)：（2022-1）Lawin Transformer：大窗口注意力改进多尺度表示的语义分割
zhe470719的博客
05-19 2545
目录详情 详情 论文 代码
CVPR2020 | SEAM：弱监督语义分割的自监督等变注意力机制
AI算法修炼营的博客
05-07 1146
点击上方“AI算法修炼营”，选择“星标”公众号精选作品，第一时间送达论文地址：https://arxiv.org/pdf/2004.04581.pdf代码地址：https://githu...
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
川川自溢的博客
04-19 942
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
综述笔记 | 一些弱监督语义分割论文
AI算法修炼营的博客
04-23 3405
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货这里的弱监督信息为image-level的类别信息，即没有像素级的语义分割标签，而仅有图像级的类别标签，即知道每张图里有...
「技术综述」基于弱监督深度学习的图像分割方法综述
喜欢打酱油的老鸟
07-19 1649
https://www.toutiao.com/a6713527528251720200/ 本文是基于弱监督的深度学习的图像分割方法的综述，阐述了弱监督方法的原理以及相对于全监督方法的优势。 作者 | 孙叔桥 编辑 | 言有三 1 基础概念 生活中，我们和周围的事物都是有“标签”的，比如人、杯子、天空等等。在不同的场景下，相同的事物可能对应了不同的标签，比如长在地上的一片小草...
VALSE2018王兴刚教授弱监督语义分割
05-11
VALSE 2018 大连 王兴刚教授 弱监督语义分割演讲ppt
【综述笔记】一些弱监督语义分割论文
idol24的博客
04-23 3703
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！这里的弱监督信息为image-level的类别信息，即没有像素级的语义分割标签，而仅有图像级的类...
使用多尺度注意力进行语义分割
AI公园
11-27 1769
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Andrew Tao and Karan Sapra编译：ronghuaiyang导读来自NVIDIA的SOTA语义分割文...
论文阅读 Explainable Image Similarity Integrating Siamese Networks and Grad-CAM
what_how_why2020的博客
06-03 681
给出论文（Explainable Image Similarity Integrating Siamese Networks and Grad-CAM）的内容解读、代码运行说明。
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 906
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
[论文阅读] ZeRo
最新发布
天下月色共三分的博客
06-04 265
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 885
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
Fully Convolutional Networks for Semantic Segmentation--论文笔记
dezwb的博客
05-31 1129
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
论文阅读《SELECTIVE DOMAIN-INVARIANT FEATURE FOR GENERALIZABLE DEEPFAKEDETECTION》
weixin_56180495的博客
06-03 494
其中N表示域的数量，也就是不同的操作方法所生成的伪造样本，x表示训练集的样本，y表示对应的标签，Yn表示独热编码，G表示内容特征生成器，D表示域鉴别器，为了同步优化G和D，梯度反转层被用于反向传播中用于翻转梯度。采用最远样本采样来采样不同风格的样本点，从N个个种类的全部样本点中，迭代选择C个样本点，以此避免真假样本相互作用。做法：使得所有得样本点尽可能得远，因此样本分离and不统一，多样性域感知模块，用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识。，提高模型的特征提取能力的泛化和有效性。
弱监督语义分割、无监督语义分割和全监督语义分割的关系和区别
07-25
弱监督语义分割、无监督语义分割和全监督语义分割是语义分割任务中不同的训练方式。 全监督语义分割是指使用有标注的像素级别标签数据进行训练，每个像素都有对应的标签。这种方法需要大量标注数据，并且要求标注的准确性高，但在训练充分的情况下，可以获得较好的分割结果。 弱监督语义分割是指使用具有较低标注粒度的标签数据进行训练，例如使用图像级别标签或边界框标签。相比全监督方法，弱监督方法使用的标签数据量较少或者标注粒度较低，因此训练难度更大。但弱监督方法的优点是可以减少标注工作量，并且在一些场景下仍然能够取得不错的分割效果。 无监督语义分割是指在没有任何标注信息的情况下进行分割任务。这种方法主要依靠无监督学习和自监督学习的技术，通过利用图像内部的统计特性或者自身信息进行分割。无监督语义分割是一种非常具有挑战性的任务，目前仍然是研究的热点领域。 总结来说，全监督语义分割使用像素级别标签进行训练，弱监督语义分割使用较低粒度的标签进行训练，而无监督语义分割则在没有标注信息的情况下进行分割任务。这些方法在数据标注和训练难度上存在差异，但都是为了解决语义分割任务而提出的不同策略和技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值