TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization

已于 2022-05-31 09:57:25 修改
阅读量1.5k 收藏 22
点赞数 11
文章标签： 深度学习 transformer 人工智能
于 2022-05-30 23:58:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44884999/article/details/125034209
版权

TS-CAM：由Vision Transformer架构产生CAM类别激活图的一种方法

文章目录

前言

《TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised
Object Localization》这篇文章解决的是弱监督定位问题(单标签)，但其主要内容是由Vision Transformer架构得到一种类别激活图: TS-CAM。本文结合论文内容和Vision transformer, TS-CAM的代码，用画图的形式解释作者的思路。

一、论文链接和代码链接以及重新训练模型得到可视化结果

TS-CAM论文：
论文
TS-CAM代码链接：
TS-CAM代码
Vision Transformer代码链接:
ViT代码
以下内容均来自于对以上文献和代码的理解，在此表示感谢！
在服务器上重新训练模型后，我们重新可视化CUB200种鸟类数据集的结果，确保代码应该无误。
以下是原文中的一张鸟类结果图。最后一张图是该图片对应的TS-CAM。
在这里插入图片描述
下面是重新训练模型后得到的该张图片的TS-CAM结果图(取阈值0.4)。
在这里插入图片描述
以下是另一张原文中的结果图。最后一张图是该图片对应的TS-CAM。
在这里插入图片描述
下面是重新训练模型后得到的该张图片的TS-CAM结果图(取阈值0.4)。
在这里插入图片描述
确认代码运行无误后，我们结合代码看作者的思路。

二、TS-CAM论文是如何由Vision Transformer得到类别激活图的？

1.embedding层

我们以一种规模的ViT模型vit_base_patch16_224_in21k为例，16表示每个patch大小是16×16个像素，224表示所有图像要先调整尺寸为224×224后再输入模型，in21k表示该模型已在Imagenet21k上预训练过。对于一个大小为[3, 224,224]的图像，每个patch大小为16×16，则一幅图像中有14*14个patch。
对于transformer模块，要求输入的是token序列(向量序列)，得到每一个图像块的token是用卷积操作实现的。例如，要将每个patch编码为一个768长度的向量，则我们需要768个卷积核，每个卷积核大小为16×16，步长是16。如下图所示。
在这里插入图片描述
每一行是一个patch的token向量。
在输入到transformer block之前需要加上class token以及position embedding,这两个都是可训练参数。class token是作为一个单独的768维向量加到第一行上，position embedding是作为一个768维向量加进每一个token中，如此，embedding层最终得到的矩阵大小是[197,768], 第一行对应class token，其余行对应每一个patch token。

2.transformer encoder层+Conv2d head层

在得到class token和patch token后，我们就得到了embedded patches。将其送入transformer encoder中，transformer encoder的内部结构如下图所示:
在这里插入图片描述
除了Layer Norm和Dropout外，就是Multi-Head Attention和MLP两个模块了。论文中有用到12个transformer block，每个Multi-Head Attention模块里用到12个head。我们只看一个transformer block, 并以3个head为例，multi-head attenttion操作如下:
在这里插入图片描述
论文中有12个head, 所以对每个head而言，patch token(class token)的特征向量维度是768÷12=64维。对应的 q q q矩阵和 k ⊤ k^{\top} k⊤矩阵如下图所示:
在这里插入图片描述

根据公式 q ⋅ k ⊤ / d k q \cdot k^{\top} / \sqrt{d k} q⋅k⊤/dk ​计算注意力矩阵attention matrix,然后以行为单位进行softmax操作。
在这里插入图片描述
矩阵中每一个元素是一个patch对另一个patch的特征依赖( q q q和 k k k之间的相似度)
然后我们将attention matrix和 v v v矩阵相乘，得到每个patch的新的特征向量。操作如下图:
在这里插入图片描述
从上图可以看到，对于一个head而言，每一列是一个patch(class)的64维特征向量，我们将12个head的特征向量融合，融合的方式就是乘上一个矩阵。操作如下图所示:
在这里插入图片描述
上图中197×768的矩阵是经过一个多头注意力后得到的class token和patch token。这之后是一个MLP模块，里面是Linear层和GELU激活层，这里略。
之后的transformer block重复上述操作。在最后一个transformer block结束后，我们得到197×768大小的class token+patch token矩阵，如上图所示，我们将图像块的特征向量即patch token部分取出来，记作x_patch,我们将它按照在图像中的位置进行reshape，操作如下图所示:
在这里插入图片描述
然后经过一个卷积层，将通道数变为类别数，再由全局平均池化得到最终的类别分数。卷积层之后的特征层论文中记为feature_maps。作者在文中提到，这个feature_maps富含语义信息，可以和不含语义信息的注意力图相乘得到类别激活图。注意力图由我们在每个transformer block(一共12个)得到的attention matrix获得。具体做法如下图;
在这里插入图片描述
在得到注意力矩阵joint_attention后，作者只取了第一行(第一行第一列的元素也不要)向量，叫做class token的注意力向量，将这个向量按照patch在图像中的位置进行reshape操作，得到cams_re, 如下图所示:
在这里插入图片描述
最终的TS-CAM图由缺少语义信息的注意力图cams_re和富含语义信息的feature maps按元素相乘得到。

3.可视化

下面我们可视化几张COCO数据集上图片的注意力图cams_re和特征图feature maps，以及将它们两个相乘得到的TS-CAM图，COCO数据集有80个类别，所以feature maps和TS-CAM图都是80个通道，而注意力图是单通道的。
示例1:在这里插入图片描述
将注意力图和特征图相乘即得到下图的TS-CAM类别激活图:
在这里插入图片描述
红色框是预测出的类别
示例2:
在这里插入图片描述
在这里插入图片描述

总结

以上是TS-CAM的具体获取细节。更多的可视化方法可参考github官方文件:
CUB数据集可视化TS-CAM

宇宙小琦
关注
  • 11
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
Weakly-Supervised-Object-Localization
04-30
弱监督对象本地化 存储库包含用于在弱监督环境下训练目标检测器的代码，即仅使用图像级别标签学习目标检测器。 这是课程16820（视觉学习与识别）的一部分。 要求： 火炬 Tensorflow（仅用于Tensorboard） 智慧 枕头（PIL） 该代码包含以下论文的简化实现： Oquab，Maxime等。 “使用卷积神经网络进行对象定位是免费的吗？-弱监督学习。” IEEE计算机视觉和模式识别会议论文集。 2015年。 Bilen，Hakan和Andrea Vedaldi。 “缺乏监督的深度检测网络。” IEEE计算机视觉和模式识别会议论文集。 2016年。 第一篇论文的样本结果： 第二篇论文的样本结果：
探索弱监督物体定位新境界：TS-CAM深度解析与推荐
最新发布
gitblog_00030的博客
06-18 334
探索弱监督物体定位新境界：TS-CAM深度解析与推荐 项目地址:https://gitcode.com/vasgaowei/TS-CAM 在深度学习的浩瀚星空中，有一颗璀璨的新星——TS-CAM（Token Semantic Coupled Attention Map），它为弱监督物体定位领域带来了革命性的突破。今天，我们一同深入探索这个由ICCV 2021接受的创新项目，了解其背后的奥秘，以及如...
弱监督目标定位 | TS-CAM:用于弱监督目标定位的token语义耦合注意力图
LiRongLu_的博客
09-03 1061
TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization
电影的 BD、TC、TS、CAM等格式含义（转载收藏）
weixin_37848499的博客
10-07 4389
1、CAM（枪版） CAM通常是用数码摄像机从电影院盗录。有时会使用小三角架，但大多数时候不可能使用，所以摄像机会抖动。因此我们看到画面通常偏暗人物常常会失真，下方的 字幕时常会出现倾斜。 由于声音是从摄像机自带的话筒录制，所以经常会录到观众的笑声等声音。因为这些因素，图象和声音质量通常都很差。 2、TS(准枪版)TS是TELESYNC的缩写。TS与CAM版的标准是相同的。但它使用的是外置音源（一般是影院座椅上为听力不好的人设的耳机孔）这个音源不能保证是好的音源，因为受到很多背景噪音的干扰。TS是在空的影院
明天9:00 | ECCV 2022 全球博士TalK——计算机视觉领域顶会
AITIME_HY的博客
11-30 908
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AI TIME哔哩哔哩官方账号预约直播12月1日 9:30—11:30讲者简介杨靖康：新加坡南洋理工大学二年级博士生，导师为刘子纬。研究课题为开放世界的视觉推理。博士期间研究内容包括out-of-distribution detection, prompt learning, visual reasoning等。博士...
bpmn-js-token-simulation:用于令牌模拟的bpmn-js扩展
05-11
npm install bpmn-js-token-simulation 作为附加模块添加到 。 造型师 var BpmnModeler = require ( 'bpmn-js/lib/Modeler' ) ; var tokenSimulation = require ( 'bpmn-js-token-simulation' ) ; var modeler = ...
koa-weixin-token:weixin token services for koa
05-12
npm install koa-weixin-token 原料药 const Koa = require ( 'koa' ) ; const app = new Koa ( ) ; app . use ( require ( 'koa-weixin-token' ) ( { appid : 'YOUR_WEIXIN_APPID' , secret : 'YOUR_WEIXIN_...
Home-Assistant-custom-components-Xiaomi-Cloud-Map-Extractor:这种自定义集成提供了一种呈现小米（和Roborock）吸尘器地图实时视图的方法
03-19
小米云地图提取器这种自定义集成提供了一种呈现小米真空地图实时视图的方法。...手动的要手动安装此集成，您必须下载以下文件：到config/custom_components/xiaomi_cloud_map_extractor目录： mkdir -p c
laravel-passport-cache-token:使laravelpassport令牌可缓存
05-18
$ composer require overtrue/laravel-passport-cache-token -vvv 用法 借助Laravel的自动软件包发现机制，您无需执行任何其他操作。 当然，您也可以自由控制缓存策略，只需要在配置文件中配置以下内容： config /...
Weakly-Supervised-Object-Localization:监督不足的对象本地化文件
05-14
监督不足的对象本地化文件 注意：如果我错过了您的论文，请随意或给我。 2021年 标题 会场 PDF格式 代码 揭示保留弱监督对象定位的结构的潜力 心肺复苏术 通过自适应分割和联合监督增强来改善CAM WACV -- 哪里看？：挖掘互补图像区域以进行弱监督的对象定位 WACV -- TS-CAM：用于弱监督对象定位的令牌语义耦合注意图 arXiv -- AlignMix：通过内插对齐的特征来改善表示 arXiv -- 2020年 标题 会场 PDF格式 代码 弱监督对象本地化的双梯度本地化框架 毫米 图像间通信，用于弱监督的本地化 ECCV 重新思考通往弱监督对象本地化的途径 arXiv PDF格式 -- 用于弱监督对象本地化的组合类激活图 WACV PDF格式 代码 评估弱监督对象定位方法的权利 心肺复苏术 PDF格式 代码 2019年 标题 会场 PDF格式 代码 D
insomnia-plugin-aws-cognito-token:适用于AWS Cognito的Insomnia插件
05-27
失眠-插件-aws-认知令牌 适用于AWS Cognito的Insomnia插件，可让您自动获取JWT令牌并将令牌注入Authorization标头中。 注意：版本0.10.0更改了“标签”顺序，您可能必须重新排序“标签”值。 注意：版本0.14.0将...
第九章：Adversarial Complementary Learning for Weakly Supervised Object Localization ——对于弱监督对象定位的对抗互补学习
ADICDFHL的博客
07-27 358
在这项工作中，我们提出了对抗互补学习（ACoL），以实现弱监督下语义感兴趣的对象的自动定位。我们首先在数学上证明了可以通过直接选择最后一个卷积层的类特定特征图来获得类定位图，这为识别对象区域提供了一种简单的方法。然后，我们提出了一个简单的网络架构，包括两个并行分类器用于对象定位。具体而言，我们利用一个分类分支在前向传递过程中动态定位一些具有区分性的对象区域。尽管它通常对目标对象的稀疏部分有响应，但这个分类器可以通过从特征图中擦除其发现的区域来驱使对应的分类器发现新的和互补的对象区域。通过这种对抗性学习，两个
Adversarial Complementary Learning for Weakly Supervised Object Localization模型解析(基于对抗互补学习的弱监督目标定位)
weixin_49786531的博客
10-12 1375
基于对抗互补学习的弱监督目标定位
Rethinking the Route Towards Weakly Supervised Object Localization笔记
qq_37604516的博客
06-15 536
CVPR2020 本文提出伪监督目标定位方法（PSOL）解决弱监督目标定位问题。将定位与分类分为两个独立的网络，在训练集上使用DDT生成伪ground truth，通过回归与真实GT box对比， 整体效果达到SOTA。在不同数据集上，PSOL方法不需要fine-tuning也具有很好的定位能力，迁移能力。 由于训练集数据大量标注困难，成本高。很多开始研究如何使用弱监督方法来学习 目标定位。弱监督训练数据只包含image-level标签，没有具体目标定位信息或者语义标签。弱监督目标定位（WSOL）实际上.
python-Vision Transformer实现行为分类和模型类激活图CAM绘制【源码分享】
water的博客
03-24 491
【代码】python-Vision Transformer实现行为分类和模型类激活图CAM绘制【源码分享】
Vision Transformer（ViT）PyTorch代码全解析（附图解）
热门推荐
weixin_44966641的博客
07-14 5万+
Vision Transformer（ViT）代码全解析 最近CV领域的Vision Transformer将在NLP领域的Transormer结果借鉴过来，屠杀了各大CV榜单。本文将根据最原始的Vision Transformer论文，及其PyTorch实现，将整个ViT的代码做一个全面的解析。 对原Transformer还不熟悉的读者可以看一下Attention is All You Need原文，中文讲解推荐李宏毅老师的视频，个人觉得讲的很明白。 话不多说，直接开始。 下图是ViT的整体框架图，我们在
认识数字影片版本（CAM、TS、TC、DVD、HD、BD、TVRIP等）
技术资料收集站
03-27 1万+
  许多朋友在下载电影的时候， 往往会被各种各样的版本标识弄糊涂，今天把各种版本的缩写收集在一起，希望对大家有所帮助。 1.CAM（枪版）——珍爱生命，远离枪版   CAM 通常是用数码摄像机从电影院盗录。有时会使用小三角架，但大多数时候不可能使用，所以摄像机会抖动。因此我们看到画面通常偏暗人物常常会失真，下方的字幕时常会出现倾斜。 由于声音是从摄像机自带的话筒录制，所以经常会录到观众的笑声等声音...
Error binding property (token=token) with name: token on bean: org.apache.camel.example.InfluxDBConnectBean@af5e9cd4 with value: token 什么原因，yaml配置如下：- beans: - name: influxDBConnectBean type: org.apache.camel.example.InfluxDBConnectBean properties: url: http://localhost:8086 token: token
07-13
根据您提供的错误信息 `Error binding property (token=token) with name: token on bean: org.apache.camel.example.InfluxDBConnectBean@af5e9cd4 with value: token`，这意味着在绑定 `token` 属性值时发生了错误。 根据您的 YAML 配置，看起来您尝试将属性 `token` 绑定到 `InfluxDBConnectBean` 类的实例。然而，该错误表明无法成功绑定该属性。 可能的原因包括： 1. 类型不匹配：请确保在 `InfluxDBConnectBean` 类中存在一个名为 `token` 的属性，并且该属性的类型与您提供的值（这里是字符串 "token"）匹配。如果类型不匹配，绑定过程将失败。 2. 缺少属性的 setter 方法：如果 `InfluxDBConnectBean` 类中的 `token` 属性没有相应的 setter 方法，那么绑定过程也会失败。请确保在类中定义了一个名为 `setToken` 的方法，可以用于设置 `token` 属性的值。 请检查您的 `InfluxDBConnectBean` 类，并确保满足上述条件。如果问题仍然存在，请提供完整的 `InfluxDBConnectBean` 类代码，以便我们更好地帮助您解决问题。 希望这些信息对您有所帮助。如果您还有其他问题，请随时提问。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值