Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

已于 2023-07-02 16:28:48 修改
阅读量389 收藏 2
点赞数
分类专栏： Prompt in CV 文章标签： transformer 深度学习 迁移学习 计算机视觉
于 2023-06-29 23:41:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuvLive/article/details/131444691
版权
本文提出了一种名为PMTrans的模型，通过博弈论视角解决领域适应问题。PMTrans使用PatchMix模块创建中间域，连接源域和目标域，通过最小-最大交叉熵博弈实现域对齐。该模型通过学习从源域和目标域采样的patch，最大化中间域与源/目标域之间的交叉熵。此外，还引入了半监督混合损失，以最小化特征和标签空间中的域间隙。实验证明，PMTrans在多个无监督领域适应数据集上优于现有方法。
摘要由CSDN通过智能技术生成

单位：HKUST

收录： CVPR 2023 (Highlight)

原文：https://arxiv.org/abs/2303.13434

代码：GitHub - JinjingZhu/PMTrans

目录

Abstract

Introduction

Related Work

Methodology

PMTrans: Theoretical Analysis

PatchMix

A Min-Max CE Game

The Proposed Framework

Overview

Semi-supervised mixup loss

A Three-Player Game

Experiments

Datasets and implementation

Results

Ablation Study

Semi-supervised mixup loss

Learning hyperparameters of mixup

PatchMix

Visualization

Conclusion and Future Work

Abstract

之前的方法采用ViT中的交叉注意力来进行直接域对齐，但是由于交叉注意力的性能高度依赖于目标样本的伪标签的质量，当域间隙变大时，它变得不太有效。

本文从博弈论的角度来解决这个问题，提出了一个称为PMTrans的模型，它用一个中间域来连接源域和目标域。 

具体来说，作者提出了一个新的基于VIT的模块PatchMix，它通过学习基于博弈论模型从从两个域中抽取patch来有效地建立中间域，即概率分布。 这样，它学习混合来自源域和目标域的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LuvMyLife
关注
专栏目录
订阅专栏
2023-CVPR-Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective
qq_37246721的博客
02-23 894
思路：构建中间域数据，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。通过构建中间域来平滑地连接源域和目标域。
ICLR2022《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》
weixin_43994864的博客
03-07 2101
论文链接：https://arxiv.org/pdf/2109.06165.pdf 代码链接：https://github.com/CDTrans/CDTrans 1. 动机 无监督域适应(Unsupervised domain adaptive, UDA)是一种将知识从有标记的源域转移到不同的无标记目标域的方法。现有的UDA方法大多集中于学习领域不变的特征表示，无论是从领域级别还是类别级别，使用基于卷积神经网络(CNNs)的框架。基于类别级别的UDA的一个基本问题是目标域中的样本会产生伪标签，这些伪标签.
【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective
m0_60231311的博客
11-20 631
最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的Cross Attention进行直接的域对齐（CDTrans）。然而，由于Cross Attention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。
TVT_Transferable Vision Transformer for Unsupervised Domain Adaptation
LuvLive的博客
02-15 479
TVT的PPT
【论文合集】CVPR2023年 部分论文
m0_61899108的博客
05-17 1811
参考： [6]Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative ModelsCont-Steal!
GAN汇总
简简单单
12-26 2982
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
机器学习与深度学习的区别
警警的博客
09-14 1038
机器学习与深度学习
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 1085
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
如何理解深度学习的训练过程
qq_61033357的博客
09-11 373
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
【图像去噪】论文精读：Enhanced CNN for image denoising（ECNDNet）
最新发布
畅游计算机视觉的海洋
09-14 256
论文题目：Enhanced CNN for image denoising —— 用于图像去噪的增强CNN由于深度卷积神经网络 (CNN) 的灵活架构已成功用于图像去噪。然而，它们存在以下缺点：（i）深度网络架构很难训练。(ii)更深的网络面临性能饱和的挑战。在这项研究中，作者提出了一种称为增强卷积神经网络 (ECNDNet) 的新方法。具体来说，他们使用残差学习和批量归一化技术来解决训练困难的问题，加快网络的收敛性。此外，在所提出的网络中使用扩张卷积来扩大上下文信息并降低计算成本。
基础GAN生成式对抗网络（pytorch实验）
weixin_47696370的博客
09-10 354
采用MNIST数据集，如下是训练集中的一张图片。
获取某宝拍立淘API接口：深度学习图像实现匹配和检索
m0_37438181的博客
09-13 1086
随着互联网技术的飞速发展，电子商务行业中的图像搜索技术逐渐成为用户快速定位商品的重要工具。淘宝的“拍立淘”功能是一个强大的图像识别服务，允许用户通过拍摄商品图片来搜索相似的商品。然而，需要注意的是，淘宝的拍立淘API（或类似的高级图像识别服务）主要面向淘宝商家和合作伙伴，并不直接对普通开发者或公众开放。结论 淘宝图搜商品API接口,的实现涉及多个复杂的技术环节，需要综合运用深度学习、计算机视觉、大数据处理等多个领域的知识。未来，随着技术的不断进步，我们有理由相信图像搜索技术将在电商领域发挥更加重要的作用。
基于深度学习的信号滤波：创新技术与应用挑战
XU157303764的博客
09-09 1557
多尺度频域分析是一种将信号在不同频率尺度上进行分解和分析的方法。它通过使用特定的变换工具，如小波变换、多分辨率分析等，将信号分解为不同频率和时间尺度的成分。这种方法在多个领域都有着广泛的应用。在图像处理领域，多尺度频域分析可以用于图像去噪、边缘检测、图像压缩等。例如，通过小波变换可以将图像分解为不同尺度的小波系数，其中低频系数代表图像的大致轮廓和主要信息，高频系数则代表图像的细节和边缘信息。通过对不同尺度的系数进行处理，可以实现图像的去噪和增强。
《Discriminative Class Tokens for Text-to-Image Diffusion Models》ICCV2023
qq_46981910的博客
09-14 731
论文讨论了文本到图像扩散模型的最新进展，这些模型能够生成多样化和高质量的图像。然而，生成的图像常常缺乏细节，并且由于输入文本的歧义性，容易产生错误。为了解决这些问题，作者提出了一种非侵入式的微调技术，利用预训练分类器的判别信号来指导生成过程，从而在保留自由形式文本表达潜力的同时，实现高精度。
机器学习VS深度学习
weixin_43215013的博客
09-14 349
机器学习更依赖于手动设计的特征和较为简单的模型，适用于中小型数据集，计算需求较低，解释性较好。深度学习是机器学习的一个分支，使用多层神经网络，擅长自动提取复杂特征，能够处理大量非结构化数据，计算资源需求大，但在许多复杂任务（如图像和语音处理）中性能优异。
深度学习速通系列:one-hot编码
Ven%的博客
09-14 364
One-Hot编码是机器学习中处理分类特征的重要技术，它通过将分类变量转换为二进制向量，使得机器学习算法能够有效地处理这些变量。然而，使用时需要权衡其对特征维度、稀疏性、信息表示和模型选择的影响。在实际应用中，应根据数据的特点和模型的需求选择合适的编码策略。
深度学习速通系列:除了One-Hot编码，还有哪些其他处理分类数据的方法？
Ven%的博客
09-14 444
选择哪种编码方法取决于数据的特点、模型的类型以及特定的业务问题。在实际应用中，可能需要尝试多种方法，并通过模型性能来评估它们的有效性。
Transformer-Based Visual Segmentation: A Survey
05-24
In recent years, transformer-based methods have emerged as a promising approach for visual segmentation, leveraging the self-attention mechanism to capture long-range dependencies in the image. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值