Self-supervised Equivariant Attention Mechanism

于 2023-10-18 21:16:23 发布
阅读量108 收藏
点赞数
分类专栏： 论文精读 文章标签： 计算机视觉 人工智能 机器学习 神经网络 深度学习 pytorch 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qchongwangzhe/article/details/133914073
版权

文章目录

概要

《Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation》论文阅读

整体架构流程

在基于弱监督的语义分割任务中，CAM常常作为初始的分割标签使用。但由于CAM是通过分类网络训练得到的，只关注那些易于分类的区域，而不是全部的分割区域，因此CAM难以作为精确的分割标签。

一、解决问题

对应强监督分割任务来说，如果输入图像经过仿射变换，那么分割标签页应该进行相同的放射变换。而对于弱监督分割任务来说，需要依赖分类模型产生CAM分割标签，因此这种性质也应该被保持。

二、主要贡献

1、提出了一个孪生网络网络，分别接受原始图像和仿射变换后的图像，两个子网络共享权重。
2、将原始图像生成的CAM进行放射变换与经过仿射变换生成的CAM之间计算损失，通过这个损失函数来约束网络保持上述性质
3、在子网络中提出了一个PCM模块，该模块通过注意力机制融合了CAM和CNN浅层特征，增强了CAM

三、解决方法

文章的总体架构PCM模块#

四、知识补充

1、注意力机制的使用
一般形式的注意力文中的注意力，x为特征，y为cam

2、损失函数的设计
分类损失函数性质约束损失函数

五、总结和启发

1、为了使得网络保持某种性质或约束，可以设计对应的损失函数
2、让网络保持某种性质或约束，实际上给模型提供先验知识，让模型更容易优化到合适的参数。
3、注意力机制，可以融合不同的特征

神经漫游者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020CVPR:Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
THE XING
04-13 4519
[2020 CVPR (Oral)] Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 目录
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation论文解读
Turbo_Come的博客
07-07 3434
（CVPR 2020｜中科院VIPL实验室） 1.要解决的问题： 基于类别标签的弱监督语义分割是一个具有挑战性的问题，类别响应图（class activation map，简称CAM）始终是这一领域的基础方法。但是由于强监督与弱监督信号之间存在差异，由类别标签生成的CAM无法很好地贴合物体边界，因为在data/label同时做数据增强时，不同的rescale 后，弱监督的分割中可能会丢失一些信息，CAM会受到较大影响。 （CAM: 类别响应图，根据图像中的不同类别，来为图像中的不同物体打分，一般是前.
自注意力机制_自监督等变注意力机制
weixin_39929877的博客
12-19 627
来源：CVPR 2020论文题目：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation论文地址：https://arxiv.org/abs/2004.04581本文作者提出了一个Self-supervised Equivariant Attention Mechanis...
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
m0_50888279的博客
09-17 261
A new way to generate CAMs by equivalent after affine PCM ( Pixel Correlation Module): less some function: avoid over-fitting no residual: keep the same activation intensity of the original CAM ReLU: ?We use ReLU activation function with L1 normalizatio
阅读笔记：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
02-01 2221
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 基于等变注意力机制的弱监督语义分割 论文来源：https://arxiv.org/abs/2004.04581v1 源码：https://github.com/YudeWang/SEAM 1概述 语义分割是计算机视觉领域一个基础性任务。它通过预测图像的像素级分类结果，以形成图像语义分割的mask，从而...
Self-supervised_Attention_Mechanism_for_Pediatric_Bone_Age_Assessment_with_Efficient_Weak_Annotation.pdf
07-18
Self-supervised_Attention_Mechanism_for_Pediatric_Bone_Age_Assessment_with_Efficient_Weak_Annotation.pdf
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
Self-supervised Graph Learning for Recommendation
12-20
在推荐系统领域，自监督学习（self-supervised learning）已经成为一种新兴的研究焦点，尤其是在结合图学习（graph learning）的情况下。自监督学习的核心思想是利用数据自身的信息来构建监督信号，而不是依赖于人工...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments}, author={Kothandaraman, Divya and Chandra, Rohan and Manocha, Dinesh}, journal={arXiv preprint ...
self-training-self-supervised-disfluency
05-27
请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。如何使用 conda create -n ss_disfluency python=3.7conda activate ss_disfluencyconda install pytorch ...
【cvpr2022-论文笔记】《L2G: A Simple Local-to-Global Knowledge Transfer .... Semantic Segmentation》
m0_62581245的博客
10-03 1604
本文的研究领域为弱监督语义分割，这个方面的相关基础知识可以看我之前的博客，重点是CAM的理解和弱监督的含义，就不再赘述了。作者的baseline仍然是使用分类网络进行类激活映射，来利用image-level的标注信息，生成伪标签然后去直接训练分割网络。但是他指出，传统的CAM生成的伪标签会丢失很多细节信息，所以训练时把原图进行裁剪生成若干个patches（文中提供了随机裁剪和均匀裁剪两种方式），把这些局部视野像全局视野那样去训练，因为局部视野激活后往往含有更加细节的信息。
CVPR2020|论文阅读——SEAM：Self-supervised Equivariant Attention Mechanism
Liaojiajia-Blog
12-04 722
SEAM Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation 论文阅读分享PPT
自监督论文阅读笔记 SAENet: Self-Supervised Adversarial and Equivariant Network for Weakly Supervised Object D
YoooooL_的博客
05-03 603
SAENet：用于遥感图像中 弱监督目标检测的 自监督对抗和等变网络 Abstract： 大多数工作倾向于通过 利用贡献最大的区域 来优化检测模型，从而被目标最具辨别力的部分所支配。同时，这些方法忽略了同一图像在不同空间变换之间的一致性，总是用不同的类来标记它们，这会引入潜在的歧义。 为了应对这些挑战，本文提出了一个独特的自监督对抗和等变网络 (SAENet)，旨在学习 RSI 中 WSOD 的互补和一致的视觉模式。为此，首先设计了一个对抗性的 ...
《Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation》笔记
qq_24548569的博客
11-05 2124
Intorduction 该论文讲述如何用弱监督的方法训练语义分割器。弱监督方法没有强监督信息，比如ground truth。在这篇论文里，语义分割的样本标签只有图片的分类类别。已经有许多方法能够从分类信息中生成语义分割的mask。论文在这些工作的基础上，对生成的语义分割的mask调整成更加准确的mask。 输入的是粗糙的mask，输出是精细的mask的函数叫做mapping function。有...
【CVPR2019】完整论文列表二
TomRen
06-11 7952
CVPR 2019 Paper list[1001-1294] CVPR2019 完整列表一 论文题目与链接 Semantic Component Decomposition for Face Attribute Manipulation R3 Adversarial Network for Cross Model Face Recognition Disentan...
MoCoV3：何恺明团队新作！解决Transformer自监督训练不稳定问题！
夕小瑶科技说
04-07 2939
文 | happy源 | 极市平台论文链接: https://arxiv.org/abs/2104.02057本文是FAIR的恺明团队针对自监督学习+Transformer的一篇实证研究。...
[深度学习从入门到女装]Revisiting Dilated Convolution: A Simple Approach forWeakly- and Semi- Supervised Semant
炼丹师
12-28 2322
论文地址：Revisiting Dilated Convolution: A Simple Approach forWeakly- and Semi- Supervised Semantic Segmentation   这是CVPR2018的一篇弱监督、半监督的语义分割的文章 弱监督Weakly-supervised Learning：所给样本只有弱标签，要学习出强标签。在这个分割图像上就...
语义分割_CVF2020
T5A_318的博客
12-03 1136
目录 单图像语义分割 Modeling the Background for Incremental Learning in Semantic Segmentation Single-Stage Semantic Segmentation from Image Labels Learning Dynamic Routing for Semantic Segmentation Spatial Pyramid Based Graph Reasoning for Semantic Segmentatio
解读自监督学习(Self-Supervised Learning)几篇相关paper
深度学习与计算机视觉
01-31 3560
作者：bingo本文转载自知乎，作者bingo已授权，未经许可请勿二次转载。Supervised deep learning由于需要大量标注信息，同时之...
self-supervised
最新发布
06-28
自监督学习（self-supervised learning）是一种机器学习的方法，通过利用输入数据本身的特征来训练模型。在自监督学习中，模型使用未标记的数据作为训练数据，通过预测输入数据中的某些特定信息来学习特征表示。这种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值