TPAMI 2024 | TransZero++: 跨属性引导的Transformer用于零样本学习

最新推荐文章于 2024-10-19 16:02:10 发布
最新推荐文章于 2024-10-19 16:02:10 发布
阅读量50 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 学习 深度学习 顶刊论文 论文解读 TPAMI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/140736661
版权
论文解读 IEEE TPAMI 专栏收录该内容
264 篇文章 18 订阅 ¥49.90 ¥99.00
订阅专栏

题目：TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning

TransZero++: 跨属性引导的Transformer用于零样本学习

作者：Shiming Chen; Ziming Hong; Wenjin Hou; Guo-Sen Xie; Yibing Song; Jian Zhao; Xinge You; Shuicheng Yan

源码链接：https://shiming-chen.github.io/TransZero-pp/TransZero-pp.html.

摘要

零样本学习（ZSL）通过将语义知识从已见过的类别转移到未见过的类别来解决新类别的识别问题。语义知识通常由不同类别间共享的属性描述来表示，这些属性作为强大的先验，用于定位代表区分区域特征的对象属性，从而实现显著且充分的视-语义交互，以推进ZSL。现有的基于注意力的模型仅使用单向注意力时，难以学习单个图像中的次优区域特征，忽略了视觉特征的可转移性和区分性属性定位，这些特征对于有效知识

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024| DualCoOp++：一种快速高效的有限注释多标签识别方法
小白学视觉
05-25 825
在低标签状态下的多标签图像识别是一项极具挑战性和实际意义的任务。之前的工作主要集中在学习文本和视觉空间之间的对齐，以弥补图像标签的不足，但由于高质量多标签注释的缺乏，可能会导致精度下降。在这项研究中，我们利用了通过数百万辅助图像-文本对预训练的强大文本和视觉特征对齐能力。我们引入了一种高效的框架，称为证据引导的双上下文优化 (DualCoOp++)，作为解决部分标签和零样本多标签识别的统一方法。在 DualCoOp++ 中，我们分别为目标类别编码证据、正面和负面上下文，作为语言输入的参数化组件（即提示）。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 1373
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | 单目深度估计：全面综述
小白学视觉
07-24 1052
在计算机视觉领域，对二维图像中深度的估计是一个具有挑战性的主题。这是一个长期被深入研究且定义不明确的问题，一直是密集研究的焦点。本文是对这一主题的深入回顾，呈现了两个方面：一方面考虑人类深度感知的机制，另一方面包括各种深度学习方法。这些方法以紧凑和结构化的方式呈现，概述了主题，并根据近十年的研究线索对方法进行了分类。尽管在这一主题上取得了显著进展，但似乎没有任何与人类深度感知及其潜在益处的联系。
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 611
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024 | 清华提出EfficientTrain++，视觉基础网络最高3倍无损训练加速
Paper weekly
05-23 396
©作者 |王语霖单位 |清华大学博士生来源 |机器之心本文主要介绍刚刚被 IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）录用的一篇文章。论文题目：EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbo...
TPAMI 2024 | 跨图像像素对比的语义分割方法
小白学视觉
09-04 548
本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1005
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1054
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | MsSVT++: 用于3D目标检测的混合尺度稀疏体素TransFormer与中心投票
小白学视觉
06-25 150
大规模户外场景中精确的3D目标检测需要同时具备丰富长距离和细粒度信息的特征。尽管最近的检测器已经利用基于窗口的变换器来模拟长距离依赖性，但它们往往忽视了细粒度细节。为了弥补这一差距，我们提出了MsSVT++，一种创新的多尺度稀疏体素变换器，它通过分而治之的方法同时捕获这两种类型的信息。这种方法涉及显式地将注意力头分为多个组，每个组负责关注特定范围内的信息。这些组的输出随后被合并以获得最终的多尺度特征。
TPAMI 2024 | MTR++: 具有对称场景建模和引导意图查询的多智能体运动预测
小白学视觉
07-14 223
运动预测是自动驾驶系统理解复杂驾驶场景并做出明智决策的关键任务。然而，由于交通参与者的多样化行为和复杂的环境背景，这项任务充满挑战。在本文中，我们提出了Motion TRansformer (MTR) 框架来应对这些挑战。初始的MTR框架采用了具有可学习意图查询的transformer编码器-解码器结构，实现了未来轨迹的高效准确预测。通过为不同的运动模态定制意图查询，MTR在减少对密集目标候选的依赖的同时，改进了多模态运动预测。该框架包括两个关键过程：全局意图定位，识别代理的意图以提高整体效率；
TPAMI 2024 | ActiveZero++：基于零标注的混合域学习立体视觉与基于置信度的深度完成
小白学视觉
10-18 18
题目：ActiveZero++: Mixed Domain Learning Stereo and Confidence-Based Depth Completion With Zero Annotation ActiveZero++：基于零标注的混合域学习立体视觉与基于置信度的深度完成 作者：Rui Chen; Isabella Liu; Edward Yang; Jianyu Tao; Xiaoshuai Zhang; Qing Ran; Zhu Liu; Jing Xu; Hao Su Active
TPAMI 2024 | DaGAN++: 用于生成会说话的头部视频的深度感知生成对抗网络
小白学视觉
06-16 148
目前，关于生成会说话的头像视频的主要技术大多依赖于2D信息，包括输入面部图像中的面部外观和运动。然而，密集的3D面部几何信息，如像素级深度，在构建精确的3D面部结构和抑制复杂背景噪声方面起着关键作用。然而，获取面部视频的密集3D注释成本极高。在本文中，首先，我们提出了一种新的自监督方法，用于从面部视频学习密集的3D面部几何（即深度），无需在训练中使用相机参数和3D几何注释。我们进一步提出了一种策略，通过学习像素级不确定性来感知更可靠的刚体运动像素，以便于几何学习。
C#从零开始学习(类型和引用)(4)
最新发布
Hikigaya_Hachi的博客
10-19 1035
C#类型和引用学习
【PHP小课堂】一起学习PHP中的反射（一）
硬核项目经理
10-14 1202
一起学习PHP中的反射（一）反射这个名词相信大家不会陌生，但反过来说，这个反射到底是一个什么概念呢？其实反射，就是通过一些方法函数，来获得一个类或者一个实例化对象中的一些信息。当然，更重要的是，它可以是在运行时来动态获取这些信息的。这样的话，有很多功能就可以通过反射来实现了。比如说 Java 中的注解，在一些 PHP 的框架中，要实现类似的注解功能，就是通过反射来获得注释中的信息来实现的。大家可以...
如何用3个月零基础入门网络安全？_网络安全零基础怎么学习
2401_84466224的博客
10-15 1276
我们知道计算机最早是在西方发明出来的，很多名词或者代码都是英文的，甚至现有的一些教程最初也是英文原版翻译过来的，而且一个漏洞被发现到翻译成中文一般需要一个星期的时间，在这个时间差上漏洞可能都修补了。”答案是否定的，黑客用的电脑,不需要什么高的配置,只要稳定就行.因为黑客所使用的一些程序,低端CPU也可以很好的运行,而且不占什么内存.还有一个,黑客是在DOS命令下对进行的,所以电脑能使用到最佳状态!观看学习近十年所有0day挖掘的帖，然后搭建环境，去复现漏洞，去思考学习笔者的挖洞思维，培养自己的渗透思维。
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 316
从模式选择Reset模式可以实现自动清零计数器CNT。
学习笔记——交换——STP（生成树）基本概念
灵韵的博客
10-16 1081
端口收到一个BPDU报文后，抽取该BPDU报文中累计根路径开销字段的值，加上该端口本身的路径开销即为累计根路径开销。从一个非根桥到达根桥的路径可能有多条，每一条路径都有一个总的开销值，此开销值是该路径上所有接收BPDU端口的端口开销总和(即BPDU的入方向端口)。STP交换机每一个端口都对应一个开销值，这个值表示数据通过端口发送时的开销，这个值与端口带宽有关，带宽越高，开销值越小。根路径开销是根据交换机之间的网段来说的，本地路径的开销也叫端口开销是针对本地的物理链路来说的相关的IETF的规定为。
React 学习计划
简序
10-15 1062
希望这个学习计划能够帮助你系统地学习React，并最终成为一名优秀的React开发者。
零元学习：现状、挑战与未来
这篇发表在TPAMI上的论文着重于对当前零元学习领域的状态进行深入分析和综合评价。首先，作者提出了一个重要的贡献：建立新的零元学习基准。这一基准通过整合公开可用的数据集的评估协议和数据划分，旨在提供一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值