弱监督目标定位 | TS-CAM:用于弱监督目标定位的token语义耦合注意力图

已于 2022-09-05 19:24:10 修改
阅读量1k 收藏 6
点赞数 1
文章标签： 人工智能 计算机视觉 深度学习 目标定位 transformer
于 2022-09-03 15:24:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiRongLu_/article/details/126677941
版权

关于论文<TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization>学习笔记 

总结：这里就像是vision transformer，做一个分类任务。然后引入分类loss。 

总结：

得到197×768大小的class token+patch token矩阵， 将图像块的特征向量即patch token部分取出来，记作x_patch,我们将它按照在图像中的位置进行reshape，操作如下图所示：

然后经过一个卷积层，将通道数变为类别数，再由全局平均池化得到最终的类别分数。卷积层之后的特征层论文中记为feature_maps。作者在文中提 到，这个feature_maps富含语义信息，可以和不含语义信息的注意力图相乘得到类别激活图。注意力图由我们在每个transformer block(一共12个)得到 的attention matrix获得。具体做法如下图：  

在得到注意力矩阵joint_attention后，作者只取了第一行(第一行第一列的元素也不要)向量，叫做class token的注意力向量，将这个向量按照patch在图像中的位置进行reshape操作，得到cams_re, 如下图所示:

参考：TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization_宇宙小琦的博客-CSDN博客

TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization_feng3355的博客-CSDN博客

编程日记✧
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
bpmn-js-token-simulation:用于令牌模拟的bpmn-js扩展
05-11
用于令牌模拟的bpmn-js扩展。 安装 通过安装。 npm install bpmn-js-token-simulation 作为附加模块添加到 。 造型师 var BpmnModeler = require ( 'bpmn-js/lib/Modeler' ) ; var tokenSimulation = require ( '...
Adversarial Complementary Learning for Weakly Supervised Object Localization模型解析(基于对抗互补学习的弱监督目标定位)
weixin_49786531的博客
10-12 1375
基于对抗互补学习的弱监督目标定位
弱监督的通用方案，CAM从图像级标签到像素级标签
qq_43534932的博客
07-18 4669
简介 我们做深度学习中，到采用的训练方案是全监督的方式，这种全监督的方式，在基本的分类任务当中数据打标签的难度还好，但是在一些更多复杂的深度学习任务中，label的获取就有些困难了。 比如在图像分割领域当中，像素级的标签获取起来费事费力（labelme用起来还挺累的），有没有这么一种算法可以通过分类的标签衍生出像素级的标签，答案是有的。 CAM（Class Activation Mapping）就是目前所有弱监督算法的重要鼻祖。 ...
探索弱监督物体定位新境界：TS-CAM深度解析与推荐
最新发布
gitblog_00030的博客
06-18 331
探索弱监督物体定位新境界：TS-CAM深度解析与推荐 项目地址:https://gitcode.com/vasgaowei/TS-CAM 在深度学习的浩瀚星空中，有一颗璀璨的新星——TS-CAM（Token Semantic Coupled Attention Map），它为弱监督物体定位领域带来了革命性的突破。今天，我们一同深入探索这个由ICCV 2021接受的创新项目，了解其背后的奥秘，以及如...
TS-CAM: Token Semantic Coupled Attention Map for Weakly Supervised Object Localization
weixin_44884999的博客
05-30 1555
TS-CAM：由Vision Transformer架构产生CAM类别激活图的一种方法 文章目录TS-CAM：由Vision Transformer架构产生CAM类别激活图的一种方法前言一、论文链接和代码链接以及重新训练模型得到可视化结果二、TS-CAM论文是如何由Vision Transformer得到类别激活图的？1.embedding层2.transformer encoder层2.读入数据总结 前言 《TS-CAM: Token Semantic Coupled Attention Map for
【论文阅读--WSOL】Spatial-Aware Token for Weakly Supervised Object Localization
weixin_41845840的博客
04-08 1146
论文：https://arxiv.org/abs/2303.10438代码：https://github.com/wpy1999/SAT/blob/main/Model/SAT.py。
弱监督语义分割-对CAM的生成过程进行改进2
sanguine__的博客
05-21 586
PCM（Pixel Correlation Module，像素相关性模块）和我们提出的PRCM（Pixel-Region Correlation Module，像素-区域相关性模块）共同作用，提升原始CAM（Class Activation Map，类激活图）的质量到精细化的CAM（Refined CAM，RCAM）。我们注意到，随着S的增加，mIoU遵循与超像素补丁相似的趋势。然而，对于小目标(图5最后一列)，可以看出CPN的前景种子是过度分割的，因为对于没有边界的小目标，确实很难挖掘出准确的种子。
ts-ast-utils:用于TypeScript AST遍历的实用程序
03-20
ts-ast-utils遍历Typescript AST的一种更简单，更友好的方法。 TypeScript AST有关TypeScript AST的有用链接： ：用于可视化和理解AST的出色工具。它甚至会为您提供生成AST的代码。安装对Github软件包进行身份验证，...
npm-package-ts-starter-kit:用于Typescript NPM软件包的入门套件
05-23
从NPM获取您的秘密密钥使用NPM_TOKEN作为名称在github上设置机密依存关系仅开发对于仅开发依赖项，请确保将它们添加到package.json的devDepdencies部分中 yarn add --dev @types/mocha mochanpm install --dev @...
validate-github-token：用于验证GitHub API令牌的Tiny npm软件包
02-04
是一个用于验证 OAuth令牌。 该软件包可以验证给定的令牌 实际上是由API端点授权的 具有预期的API范围 没有意外的API范围 并返回以下信息作为验证结果： 给定令牌具有的API范围 速率限制 有关更多详细信息，请...
district0x-network-token：用于district0x贡献的智能合约和Web应用程序
02-05
district0x-network-token：用于district0x贡献的智能合约和Web应用程序
弱监督语义分割-对CAM的生成过程进行改进1
sanguine__的博客
05-10 1142
论文：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation （CVPR,2020）
三十四章：Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation ——弱监督语义分割中的类别重新激活图
ADICDFHL的博客
07-23 728
提取类别激活图（CAM）可以说是生成弱监督语义分割（WSSS）伪掩码的最常用步骤。然而，我们发现导致伪掩码不理想的关键在于广泛使用的二元交叉熵损失（BCE）在CAM中的应用。具体而言，由于BCE的类别求和池化特性，CAM中的每个像素可能对同一感受野中出现的多个类别都有响应。结果就是，对于给定的类别，其热点CAM像素可能错误地侵占了属于其他类别的区域，或者非热点像素实际上可能是该类别的一部分。为此，我们引入了一种令人尴尬地简单但效果惊人的方法：通过使用softmax交叉熵损失（SCE）对已收敛的CAM进行重新
弱监督定位——类激活图大显身手
cshsjdh的博客
01-16 654
如何不使用目标检测也能把目标定位出来？通过可视化与灵活的写入网络体系中，Grad-CAM可以很好的将模型感兴趣的区域定位出来，再结合opencv对图像或视频的处理，可以让我们实现类似于目标检测的效果。
【弱监督学习】End-to-end weakly supervised semantic segmentation with reliable region mining
weixin_43728604的博客
10-25 1620
这是一篇2022年发表在Pattern Recognition期刊上的一篇有关弱监督语义分割的文章。由于只使用图像级标签来训练语义分割模型扔充满挑战，并且现有弱监督方法都是两阶段的方法，缺少一个端对端的方法。所以本文提出了一个新的端对端弱监督语义分割方法。
深度学习可解释性分析-CAM
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-28 983
CAM可以实现对深度学习实现可解释性分析，显著性分析可扩展性强，后续衍生出各种基于CAM的算法每张图像，每个类别都能生成对应的热力图弱监督定位：图像分类模型解决定位问题潜在的“注意力机制”Machine learning 到Machine teaching。
弱监督语义分割相关论文——对CAM的生成过程进行改进
qchongwangzhe的博客
10-19 534
在弱监督语义分割中，对CAM的生成过程进行改进的论文。CAM生成过程为标签数据输入分类网络进行训练，因此对CAM的改进也可以进一步分为对数据、分类模型、标签的改进1、数据：一到五都是对数据进行操作（仿射变换、擦除、拆分、混合标签），再设计损失函数进行约束2、分类模型：六（损失函数和全局池化）3、标签：七（聚类细化标签）
【汇总】行为识别、时序行为检测、弱监督行为检测、时空行为定位论文代码（持续更新！！！）
volcano_Lin 的博客
12-08 3824
视频行为识别与轻量化网络的前沿论文、代码等 https://zhuanlan.zhihu.com/c_1207774575393865728 CVPR 2020 行为识别/视频理解论文汇总 https://zhuanlan.zhihu.com/p/141429177 CVPR 2020 论文大盘点-动作识别篇 https://cloud.tencent.com/developer/article/1664055 CVPR 2020 论文大盘点-动作检测与动作分割篇 https://www.sohu.com/
1、使用递归下降分析算法分析表达式文法： exp ::= exp addop term | term addop ::= + | - term ::= term mulop factor | factor mulop ::= * | / factor ::= (exp) | number 其中number可以是多位的十进制数字串（整数即可），因此这里还需要一个小的词法分析器来得到number的值。 2、该词法分析器以子程序形式出现，当需要进行词法分析时进行调用； 3、能够识别正确和错误的表达式； 4、在进行语法分析的过程中，计算输入表达式的值。
06-08
下面是使用递归下降分析算法实现的表达式解析器的代码（使用Python语言实现）： ```python class Lexer: def __init__(self, text): self.text = text self.pos = 0 def get_next_token(self): while self.pos < len(self.text) and self.text[self.pos].isspace(): self.pos += 1 if self.pos < len(self.text) and self.text[self.pos].isdigit(): start = self.pos while self.pos < len(self.text) and self.text[self.pos].isdigit(): self.pos += 1 return int(self.text[start:self.pos]) if self.pos < len(self.text) and self.text[self.pos] in "+-*/()": token = self.text[self.pos] self.pos += 1 return token return None class Parser: def __init__(self, text): self.lexer = Lexer(text) self.current_token = self.lexer.get_next_token() def error(self): raise Exception("Invalid syntax") def eat(self, token_type): if self.current_token == token_type: self.current_token = self.lexer.get_next_token() else: self.error() def factor(self): if self.current_token == "(": self.eat("(") result = self.expr() self.eat(")") else: result = self.current_token self.eat("number") return result def term(self): result = self.factor() while self.current_token in "*/": op = self.current_token self.eat(op) if op == "*": result *= self.factor() else: result /= self.factor() return result def expr(self): result = self.term() while self.current_token in "+-": op = self.current_token self.eat(op) if op == "+": result += self.term() else: result -= self.term() return result def parse(self): return self.expr() if __name__ == "__main__": while True: try: text = input("calc> ") except EOFError: break if not text: continue parser = Parser(text) result = parser.parse() print(result) ``` 这个解析器首先使用词法分析器 Lexer 来获取下一个 token，然后根据语法规则进行递归下降分析。其中，factor 表示最基本的表达式，可以是一个括号包含的表达式或一个数字。term 表示乘法和除法运算，expr 表示加法和减法运算。在解析的过程中，如果发现语法错误，会抛出异常。最后，程序会计算输入表达式的值并输出结果。 下面是一些测试用例： ``` calc> 2+3*4 14 calc> (2+3)*4 20 calc> 2*3/(1+2) 2.0 calc> 2*(3+4)/5 2.8 calc> 1+2+3+4+5 15 calc> 1+2*3+4*5 27 calc> 1++2 Invalid syntax ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程日记✧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值