【论文阅读】MCTformer: 弱监督语义分割的多类令牌转换器

已于 2024-04-10 20:44:35 修改
阅读量1.3k 收藏 15
点赞数 28
文章标签： 论文阅读
于 2024-04-10 11:30:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/W_zyth/article/details/137589682
版权

【论文阅读】MCTformer: 弱监督语义分割的多类令牌转换器

文章目录


Multi-class Token Transformer for Weakly Supervised Semantic Segmentation

本文提出了一种新的基于变换的框架来学习类特定对象定位映射作为弱监督语义分割(WSSS)的伪标签

  

可以利用标准视觉转换器中一个类令牌的参与区域来形成与类无关的定位映射，我们研究了转换器模型是否也可以通过学习转换器中的多个类令牌来有效地捕获特定于类的注意力

提出了一个多类令牌转换器，称为MCTformer，它使用多个类令牌来学习类令牌和补丁令牌之间的交互

提出的MCTformer可以成功地从对应于不同token的类到patch关注生成类判别对象定位映射

  
我们还建议使用从patch -patch转换器注意力中提取的patch级成对亲和度来进一步细化定位图

提出的框架被证明可以完全补充类激活映射(CAM)方法

  
  

一、介绍

弱监督语义分割(WSSS)旨在通过弱监督来减轻对像素级真值标签的依赖

利用弱标签生成高质量的伪分割真值标签

  

图像级标签可以提供简单的弱标签，其仅指示某些类的存在或不存在定位信息

来自卷积神经网络（CNNs）的对象定位图。尽管使用了复杂的CAM扩展策略或多个训练步骤，但现有方法在定位对象的完整性和准确性方面仍然表现出有限的性能

视觉转换器（ViT）作为第一个专门为计算机视觉设计的转换器模型，最近在多个视觉任务上取得了性能突破

ViT在大规模图像识别方面取得了最先进的性能，这要归功于其强大的远程上下文建模能力
  

ViT还使用一个额外的cls token来聚合来自整个patch token序列的信息

最近的一项工作DINO揭示了在自监督ViT特征中存在关于图像语义分割的明确信息

  

在实际工作中我们探究了Class_cls, CNN_cls和Patch_cls的联系，最后选择了Class_cls, CNN_cls

  

从类标记的注意力图中发现语义场景布局

注意力图在无监督分割任务中产生了有希望的结果

但如何将头部与正确的语义类相关联仍不清楚。也就是说，这些注意力映射仍然是类不可知的
  

在这里插入图片描述
  

  • 在之前的Transformer中，仅使用一个cls_token（红色方块）来聚合来自patch_token（蓝色方块）的信息
  • 所提出的MCTformer使用多个类令牌来学习cls_token和patch_token之间的交互。学习的类对不同类标记的注意力进行Patch可以生成类特定的对象定位图

  

利用Transformer的特定类别注意力是一项挑战

现有的基于转换器的作品有一个共同的问题，即仅使用一个cls_token，这使得在单个图像上准确定位不同对象具有挑战性

  
存在的问题：

  • cls_token设计本质上不可避免地从其他对象类别和背景中捕获上下文信息
  • 导致相当无歧视和有噪声的对象定位
  • 模型容量不足以实现有针对性的判别定位性能

  

一个简单的想法是利用多个cls_token，它将负责学习不同对象类的表示。为此，我们提出了一种多类令牌转换器（MCTformer），其中使用多个类特定令牌来利用类特定转换器的注意力

  
作用：

  • 拥有类特定令牌的目标不能通过简单地增加ViT中cls_token的数量来实现，因为这些类令牌仍然没有特定的含义
  • 沿着嵌入维度对来自转换器编码器的输出类令牌应用平均池，以生成cls_token，这些分数由基本事实类标签直接监督
  • 学习到的类对不同类的注意力的patch可以直接用作类特定的定位图
  • 所学习的patch到patch的注意力可以作为patch级别的成对亲和力
  • 所提出的转换器框架完全补充了CAM方法。这导致类标记和补丁标记之间的高度一致性，从而显著增强了它们派生的对象定位图的判别能力
      

贡献：

  • 建议利用类特定的转换器注意力进行弱监督语义分割
  • 提出了一个有效的转换器框架，其中包括一个新的多类令牌转换器（MCTformer），结合类感知训练策略，从类中学习特定于类的定位图，以修补不同类令牌的注意力
  • 使用patch到patch的注意力作为patch级别的成对亲和力，这可以显著细化特定类别的转换器注意力

  

二、联系工作

  
大多数现有的WSSS方法依赖于类激活映射来从CNN中提取对象定位图

因此无法为语义分割网络的学习提供足够的监督。为了解决这个问题，已经提出了特定的分割损失

  • SEC损失

  • CRF损失

  • 对比损失

      

进从CAM图中获得的伪分割标签上。这些方法可分为以下几类：生成高质量的CAM映射。一些方法开发了启发式策略，如“隐藏和搜索”[31]和擦除[40]，应用于图像[24，49]或特征图[16，21]，以驱动网络学习新的对象模式

子类别和跨图像语义来定位更准确的对象区域

  

正则化损失来引导网络发现更多的对象区域

通过引入扩张卷积来解决标准图像分类CNN的感受野有限的问题

  

Refining CAM maps with affinity learning

  

Ahn等人提出了affinity ，从原始CAM图的可靠种子中学习相邻像素之间的仿射关系

网络可以预测仿射矩阵以通过随机游动传播CAM映射

分割结果中的置信像素学习了成对亲和网络

  

直接从分类网络的特征图中学习亲和度，以细化CAM图

Xu等人[44]提出了一种跨任务亲和性，该亲和性是从弱监督多任务框架中的显著性和分割表示中学习的

我们提出了一种基于Transformer的模型来提取类特定的对象定位图。我们利用Transformer机制中的转换器注意图来生成对象定位图

  
Transformer

Transformer，最初设计用于对NLP领域中长序列的长程依赖性进行建模

如图像分类[10]、显著性检测[27]和语义分割[30]，实现了有希望的性能

  

然后，这些标记被转发到多个堆叠的基于自我关注[37]的层中，使每个补丁都具有全局感受野

自监督方法应用于ViT，并观察到类标记在补丁上的注意力包含关于场景语义布局的信息

TS-CAM，使CAM模块适应ViT。然而，TS-CAM只利用了ViT的类不可知注意力映射

提出的多类令牌转换器框架被证明比原始ViT更好地补充了CAM机制，生成了比TS-CAM更好的对象定位图

  
  

三、方法

具体框架：

在这里插入图片描述

  

新的纯基于Transformer的框架（MCTformer-V1）来利用变换器注意力的类特定对象定位图

输入RGB图像首先被分割成不重叠的patch，然后被转换成patch标记序列

  

使用多个cls_token。这些类标记与嵌入patch信息的补丁标记连接，以形成转换器编码器的输入标记

cls_token和patch_token。我们对最后一层的输出cls_token应用平均池来生成类分数，而不是像传统的转换器那样使用多层感知（MLP）来进行分类预测

  

cls_token直接产生的类分数和基本事实类标签之间计算分类损失

聚合来自多个层的注意力图

从patch到patch的注意力中提取patch级别的成对亲和力，以进一步细化类到补丁的注意

  

类特定的定位图被用作种子以生成伪标签来监督分割模型

  

Multi-class token结构设计

  • 考虑一个输入图像，它被分割成N×N个补丁
  • patch标记序列
  • C类标记序列
  • C类标记与补丁标记级联，并添加位置嵌入
  • 每个编码层由一个多头注意力（MHA）模块、一个MLP和分别应用于MHA和MLP之前的两个LayerNorm层组成

  

我们使用标准的自关注层来捕获令牌之间的长程依赖关系。更具体地说，我们首先对输入token序列进行归一化

  

在这里插入图片描述
  

token到token的注意力映射At2t

全局成对注意力映射At2t

每一行表示特定class对所有patch的注意力得分

  

考虑到较高的层学习更多的高级判别表示（而较早的层捕获更多的一般和低级视觉信息）

class融合到最后K个变换器编码层的patch注意力
  

在这里插入图片描述

Amct是从所提出的MCFormer-V1的第l个变换器编码层提取的特定于类的变换器注意力。

以生成最终的class特定对象定位映射AmctRC×N×N

  

在这里插入图片描述
  

Class-specific attention refinement

在先前的工作中经常使用成对仿射来细化对象定位图。它通常需要一个额外的网络或额外的层来学习亲和图

我们建议从所提出的MCTformer的patch匹配注意力中提取成对亲和图，而无需额外的计算或监督

通过提取patch到patch的注意力Ap2pRM×M来实现的

  

在这里插入图片描述
  

所提取的亲和度用于进一步细化类特定的变换器注意力

  

在这里插入图片描述

细化的类特定定位图

可以获得更好的对象定位图，并提高外观连续性

  

Class-aware training

与传统的转换器使用来自最后一层的单个cls_token通过MLP执行分类预测相比，我们有多个类令牌，并且我们需要确保不同的类令牌可以学习不同的类判别信息

平均值集中输出类令牌以生成类分数
  

在这里插入图片描述
  

我们计算类c的类得分y（c）与其基本事实标签之间的soft margin loss

  

我们将CAM模块集成到所提出的多类令牌转换器框架中

我们将其划分为输出类令牌Tout_cls RC×D和输出补丁令牌Tout_pth RN×D

patch标记进行整形，并将其转发到具有C个输出通道的卷积层

总损失是分别根据类标记和补丁标记在图像级基本事实标记和类预测之间计算的两个soft margin loss的总和

在这里插入图片描述

将PatchCAM和特定于类的转换器注意力相结合

可以从最后一个卷积层提取基于补丁标记的CAM（此后称为PatchCAM）图

将提取的PatchCAM映射与所提出的类特定变换器注意力映射相结合

  

通过逐元素乘法运算产生融合的对象定位映射

where ◦ denotes the Hadamard product
  

类特定的对象定位映射细化。类似于MCTformer-V1中提出的注意力细化机制

我们也可以从MCTformer-V2中提取Patch到Patch的注意力图作为Patch级别的成对亲和度，以细化融合的对象定位图

  
在这里插入图片描述
  
其中CAM方法可以灵活而稳健地适应多标签图像

  
  

四、实验结果

数据集:PASCAL VOC 2012和MS COCO 2014

  

PASCAL VOC：

  • 即训练集（train）、验证集（val）和测试集，每个子集分别包含1464、1449和1456个图像
  • 20个对象类和一个用于语义分割任务的背景类
  • 10582张图像的增强集以及中的额外数据进行训练

  

MSCOCO：

  • 80个对象类和一个背景类进行语义分割
  • 其训练集和验证集分别包含80K和40K图像

  

只使用了这些数据集的图像级基本事实标签

ImageNet[9]上预训练的DeiT-S主干构建了所提出的MCTformer

  

具体细节：

  • 遵循了中提供的数据扩充和默认训练参数
  • 训练图像的大小调整为256×256
  • 然后裁剪为224×224
  • 在测试时，我们使用多尺度测试和超参数的CRF进行后处理

  

在这里插入图片描述

川川子溢
关注
  • 28
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
用于弱监督语义分割的多类token transformer
qq_45745941的博客
04-08 861
本文提出了一种新的基于Transformer的框架，将特定于类的对象定位映射学习为弱监督语义分割(WSSS)的伪标签。标准视觉Transformer中一个类Token 的参与区域可以被利用来形成一个类不确定的定位映射本文研究了Transformer模型是否也可以通过学习Transformer中的多个类Token 来有效地捕获特定于类的注意力，以进行更具鉴别性的对象定位。
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
川川自溢的博客
04-19 931
【论文阅读】用于遥感弱监督语义分割的对比标记和标签激活
【cvpr2022-论文笔记】《Multi-class Token Transformer for Weakly Supervised Semantic Segmentation》
m0_62581245的博客
10-16 2016
本文的方向是弱监督语义分割，伪标签使用Vision Transformer分类架构来生成，使用image-level的标注信息 理解本文需要了解传统卷积网络生成CAM的过程，并且要懂ViT的自注意力模块 文章把他们的模型分为了 V1 和 更丰富的V2两个版本 ，下面分别来说 MCTformer-V1 上面就是整体的网络结构图 首先按照ViT的做法，把图片切成N*N个patch，每个patch拉成一个向量，embedding之后每个patch向量维度为D，本文把这些patch向量称为pat
【论文阅读--WSSS】WeakTr: Exploring Plain Vision Transformer for Weakly-supervised Semantic Segmentation
weixin_41845840的博客
04-08 383
论文链接：https://arxiv.org/abs/2304.01184代码链接：https://github.com/hustvl/weaktr这篇文章有两部分内容，一部分是CAM Generation，另一部分是Segmentation。但由于Segmentation部分也是基于Transformer，那部分就暂时忽略了。
论文笔记：Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
u013708520的博客
12-16 638
作者的思路可以在这张图上看出来，（a）传统的VIT网络只输入一个class token，输出的这个红蓝点矩阵实际上是softmax（q*k^T），输出的图像虽然有图像分割的意思，但是没有类别定位，就是根本不知道他是怎么定位到这个地方的。那么这是作者提出的MCTformer-V2模型，因为V1可以完美的与CAM结合，因此作者提出了V2版本，为什么兼容其实不难推导，生成的MCT attention和patchcam的维度是一样的，两者可以做到一个互补。这周看了2022年CVPR的一篇关于图像分割的论文。
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割
川川自溢的博客
03-15 6507
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割 文章中可以跳转具体的代码解析
wow-token-converter:Battle.net商店的Wow令牌转换器
05-18
哇令牌转换器 该脚本将自动检查您的货币和地区，并从WoWtoken.info获取代币价格，并在商店页面中写入从暴雪购买每种产品所需的黄金和代币。 该脚本还会检查您的余额并根据您拥有的金额减少产品的价值，因此您无需...
BioTSA：注释令牌语义协会以支持生物医学文本挖掘
03-31
BioTSA：注释令牌语义协会以支持生物医学文本挖掘
token:节点 SQL 和 Redis 支持的令牌管理器
06-16
Token 是一个 SQL（ 兼容）令牌管理器，带有可选的 Redis 支持，使用客户端。 例子 var async = require ( 'async' ) var knex = require ( 'knex' ) var Token = require ( './index' ) // redis is optional var ...
veritoken:用于 express 的轻量级令牌验证器
06-01
真实令牌用于 express 的轻量级令牌验证器。
visualstudioapi:用于处理 Visual Studio 在线 api 令牌的简单节点 javascript 类
07-02
用于使用 Visual Studio 在线 api 的简单节点/javascript 类。 api 使用 RSVP 将请求转换为承诺。 这允许您链接请求 安装 # using npm npm install visualstudio-client 单一承诺 var visualstudio = require ( ...
实战教程 | ECCV 2022 Out Of Distribution 分类赛道冠军方案解读
专注计算机视觉全栈知识分享
03-24 226
本文开头通过一个形象生动的案例为大家介绍了 OOD 任务的重要性，继而引申出今天的主角——关于计算机视觉中的域外分布泛化性问题。同时，也很荣幸的为大家简单讲解了本次 ECCV 2022 关于 OOD-CV 挑战赛中图像分类和目标检测赛道的冠军解决方案，希望对大家能有所启发。如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！
《论文阅读》具有人格自适应注意的个性化对话生成 AAAI 2023
MyHeartWillGoOn
05-29 78
亲身阅读感受分享，细节画图解释，再也不用担心看不懂论文啦~无抄袭，无复制，纯手工敲击键盘~今天为大家带来的是《Personalized Dialogue Generation with Persona-Adaptive Attention》出版：AAAI时间：2023类型：个性化对话生成特点：个性化；多样性；回复生成；个性化适应性注意力作者：Qiushi Huang第一作者机构：University of Surrey。
[论文笔记]SELF-INSTRUCT
日积月累，天道酬勤
05-27 768
作者提出了SELF-INSTRUCT，一种通过利用预训练语言模型自我生成来改进模型遵循指令能力的框架。首先从语言模型中生成指令、输入和输出样本，然后过滤无效或相似的样本。最后微调原始模型。
Fully Convolutional Networks for Semantic Segmentation--论文笔记
最新发布
dezwb的博客
05-31 634
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
论文阅读：Correcting Motion Distortion for LIDAR HD-Map Localization
qq_53589322的博客
05-29 829
现在考虑三 种情况，一种情况是传感器在扫描期间保持静止（以 标记为 a 的姿势开始和结束），第二种情况其中传感器进行纯平移（从 a 开始并在 b 结束）， 第三种情况是传感器同时进行平移和旋转（从 a 开 始并在 c 结束）。通过在现实世界数据上进行实验，本文证明了VICET比传统的NDT和ICP提高了精度，降低了地图匹配的平移偏差（从6.9cm降低到0.27cm，降低了一个数量级），同时减少了一个sigma变化（从5.4cm到2.6cm）。然后，利用扩展的NDT算法，同时优化刚性变换和运动失真参数。
《KAN》论文笔记
Zssss12的博客
05-28 846
受 Kolmogorov-Arnold 表示定理的启发，我们提出了 KolmogorovArnold Networks (KANs) 作为多层感知器 (MLP) 的有前途的替代方案。虽然 MLP 在节点（“神经元”）上具有固定激活函数，但 KAN 在边上（“权重”）具有可学习的激活函数。KAN 根本没有线性权重——每个权重参数都被参数化为样条的单变量函数所取代。我们表明，这种看似简单的变化使得 KAN 在准确性和可解释性方面优于 MLP。对于准确性，在数据拟合和 PDE 求解中，较小。
语义分割visio transformer
07-29
语义分割是指将图像中的每个像素分配给特定的语义类别。Vision Transformer (ViT) 是一种基于Transformer的模型，最初是为图像分类任务设计的。然而，ViT也可以用于语义分割任务。在ViT中，图像被切割成固定尺寸的图像块，并将这些块线性嵌入的序列作为Transformer的输入。通过在序列中添加位置嵌入和一个可学习的识别令牌，ViT可以对图像进行语义分割。这种方法受到了NLP中Transformer的成功扩展的启发，并且在模型设计上尽可能跟随了原始的Transformer结构。因此，ViT在语义分割任务上具有可扩展性和高效性。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [深入解读Vision Transformer：拒绝做半瓢水](https://blog.csdn.net/wqthaha/article/details/125035302)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值