【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

已于 2023-11-25 20:24:51 修改
阅读量503 收藏
点赞数
分类专栏： 域适应基本论文 文章标签： transformer 深度学习 人工智能
于 2023-11-20 15:39:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60231311/article/details/134507792
版权

1.motivation

最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的Cross Attention进行直接的域对齐（CDTrans）。然而，由于Cross Attention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。

为了解决这一问题，本文从博弈的角度，提出了一个被称为PMTrans的模型，用一个中间域（使用源域patches和目标域patches通过线性插值组成）连接了源域和目标域，并且通过一个新提出的PatchMix模块和特征提取器（ViT）、分类器进行Min-Max博弈来对齐中间域和源域/目标域。

2.Method：PatchMix

PMTrans将UDA的过程解释为具有三个参与者的Min-Max CE（交叉熵）博弈，包括特征提取器，分类器和PatchMix。PatchMix模块通过学习使用基于博弈论模型的可学习beta分布生成的权重对两个域的patch进行采样，来有效地建立中间域，即概率分布。

PatchMix试图最大化中间域和源/目标域之间的CE，而特征提取器和分类器试图最小化CE来对齐域，一直达到参数稳定的均衡状态。如果混合来自两个域的混合patch表示等同于混合相应的标签，那么源域和目标域是对齐的。因此，最小化混合patch和混合标签之间的CE可以有效地促进域对齐。

2.1 PatchMix

PatchMix模块通过线性插值将源域和目标域的patches组合形成中间域的patches：

 x_{k}^{i}表示由源域第k个patch和目标域第k个patch线性组成的中间域的第k个patch。其中\lambda _{k}∈[0,1] 随机采样自

最低0.47元/天 解锁文章
羊驼不驼a
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective
LuvLive的博客
06-29 325
Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective
Unsupervised-Domain-Adaptation-with-Differential-Treatment:[CVPR 2020]东西区别对待
05-04
东西的差异处理：语义分割的一种简单的无监督域自适应方法 该存储库适用于CVPR2020接受的以下论文中介绍的Stuff Instance Matching（SIM）框架 ，，， ，， ，和 介绍 在这项工作中，我们通过减轻源域（合成数据）和...
【域适应九】2023 CVPR - Semi-Supervised Domain Adaptation with Source Label Adaptation
m0_60231311的博客
10-10 588
半监督域自适应（SSDA）涉及学习将看不见的目标数据与一些标记和大量未标记的目标数据以及来自相关域的许多标记源数据进行分类。当前的SSDA方法通常旨在通过特征空间映射和伪标签分配将目标数据与标记的源数据对齐。然而，这种面向源的模型有时会将目标数据与错误类的源数据对齐，从而降低分类性能。本文提出了一种新的源自适应范式，该范式调整源数据以匹配目标数据。关键思想是将源数据视为理想目标数据的噪声标记版本。然后，本文提出了一个SSDA模型，该模型借助于从目标角度设计的强大的清洁器组件来动态地清除标签噪声。
2023-CVPR-Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective
最新发布
qq_37246721的博客
02-23 823
思路：构建中间域数据，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。通过构建中间域来平滑地连接源域和目标域。
ICLR2022系列解读之一：基于Transformer的跨域方法CDTrans
AIEarth的博客
12-13 749
本文解读我们ICLR2022上发表的论文《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》。
Cross-Domain Transformer用于无监督域自适应ICLR2022
白景屹的博客
05-13 3851
前置内容：Cross Attention（Transformer的解码器部分） 自注意力的计算回顾关于自注意力机制的思考； key-value注意力的计算为：Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(\frac{QK^{T}}{\sqrt{d_{k}}})VAttention(Q,K,V)=softmax(dk​​QKT​)V 交叉注意力和自注意力均来自Transformer，除了输入，交叉注意力的计算与自注意力一样。交叉注意力不对称.
patchmix
whaosoft143ai的博客
06-29 219
利用对比学习损失（最常见的 InfoNCE loss），最大化正样本对之间的 cosine 相似度，并最小化负样本对之间的 cosine 相似度，以抽取外观无关的图像表征 （appearance-invariant representation），从而理解同一图像在不同数据增强下的语义一致性，实现无监督条件下的图像语义表征的抽取。受到上述观察的启发，通过混合多个图像的 Patch，形成新的混合图像，以人为构造混合图像和多个图像之间的相似性关系，实现无监督条件下的图像间复杂相似性关系的模拟 whaosoft
ICLR2022《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》
weixin_43994864的博客
03-07 1955
论文链接：https://arxiv.org/pdf/2109.06165.pdf 代码链接：https://github.com/CDTrans/CDTrans 1. 动机 无监督域适应(Unsupervised domain adaptive, UDA)是一种将知识从有标记的源域转移到不同的无标记目标域的方法。现有的UDA方法大多集中于学习领域不变的特征表示，无论是从领域级别还是类别级别，使用基于卷积神经网络(CNNs)的框架。基于类别级别的UDA的一个基本问题是目标域中的样本会产生伪标签，这些伪标签.
TVT_Transferable Vision Transformer for Unsupervised Domain Adaptation
LuvLive的博客
02-15 444
TVT的PPT
PMTrans：Pyramid Medical Transformer
lavinia_chen007的博客
05-13 529
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【论文合集】CVPR2023年 部分论文
m0_61899108的博客
05-17 1700
参考： [6]Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative ModelsCont-Steal!
dwt-domain-adaptation:论文代码“使用特征白化和共识丢失的无监督域自适应”（CVPR 2019）
05-06
用于无监督域自适应的域白化转换（CVPR 2019） 于2019年6月在加利福尼亚州长滩举行的计算机视觉与模式识别会议（ CVPR ）上发布了论文的官方PyTorch github存储库，该论文进行了。 先决条件 火炬1.0 的Python 3.5 ...
quasi-unsupervised-cc:论文“准无监督颜色恒定性”中描述的方法的实现-CVPR 2019
05-04
拟无监督的颜色恒定性本文所述方法的实现： 西蒙妮·比安科（Simone Bianco），克劳迪奥·库萨诺（Claudio Cusano），“准无监督色彩恒定性”-CVPR 2019 该文件可。 另请参见或尝试。
content-preserving-tone-adjustment-for-image-enhancement:图像增强比赛-NTIRE19-CVPR19
03-17
NTIRE 2019-图像增强挑战 推理 1-更改必须在文件中增强的目录：“ enh_pwise_single_filt_7_wd_0.0 ”，位于键“数据集→参数→ regen → input_dir ” 2-使用以下命令运行代码： python Trainer.py --json ./json...
深度学习三维重建 R-MVSNet-CVPR-2019（源码、原文+译文）
08-21
深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet...
用于稠密检索的无监督领域适应方法—Generative Pseudo Labeling (GPL)
Paper weekly
12-25 892
©作者 | 刘璐学校 |北京邮电大学研究方向 |问题生成与QA论文标题：GPL: Generative Pseudo Labeling for Unsupervised Domain ...
CVPR 2023 | 白翔团队提出：将CLIP模型用于场景文本检测
阿木寺的博客
04-03 2683
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：CSIG文档图像分析与识别专委会本文简要介绍CVPR 2023录用论文“Turning a CLIP Model into a Scene Text Detector”的主要工作。该论文提出一种新方法TCM，专注于将CLIP模型用于文本检测任务而不需要预训练过程。该方法的基本...
【第74篇】 FasterNet：CVPR2023年最新的网络，基于部分卷积PConv，性能远超MobileNet，MobileVit
AI浩
03-13 1万+
为了设计快速神经网络，许多工作都专注于减少浮点运算(FLOPs)的数量。然而，我们观察到这样的flop减少并不一定会导致类似水平的延迟减少。这主要源于低效的低浮点运算每秒(FLOPS)。为了实现更快的网络，我们重新考察了流行的运算符，并证明了这样低的FLOPS主要是由于运算符频繁的内存访问，特别是深度卷积。因此，我们提出了一种新的部分卷积(PConv)，通过同时减少冗余计算和内存访问，更有效地提取空间特征。
CVPR2023最新论文 (含语义分割、扩散模型、多模态、预训练、MAE等方向)
热门推荐
AI_ayuan的博客
03-06 1万+
2023 年 2 月 28 日凌晨，CVPR 2023 顶会论文接收结果出炉！CVPR 2023 收录的工作中 " 扩散模型、多模态、预训练、MAE " 相关工作的数量会显著增长。
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值