【最优传输论文七】2020CVPR - Enhanced Transport Distance for Unsupervised Domain Adaptation

最新推荐文章于 2024-05-29 17:32:37 发布
最新推荐文章于 2024-05-29 17:32:37 发布
阅读量275 收藏 1
点赞数
分类专栏： 最优传输 文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60231311/article/details/130654493
版权

摘要

从分布匹配的角度出发，将最优传输模型应用于UDA。然而，传输距离不能反映领域知识或类别先验的判别信息。在这项工作中，文中提出了一个增强的UDA传输距离(ETD)。该方法建立了一个注意力感知的传输距离，该传输距离可以看作是迭代学习分类器的预测反馈，用于测量域差异。在此基础上，利用深度神经网络对Kantorovich potential变量进行参数化，学习其在潜在空间中的分布。为了探索目标域的内在结构，提出了基于熵的正则化方法。提出的方法以端到端交替优化。在四个基准数据集上进行了大量的实验，以证明ETD的SOTA性能。

介绍

现有的基于OT距离的域自适应方法主要受到两个瓶颈的制约。

（1）首先，基于传输距离的深度自适应方法是基于欧几里得度量和小批量训练方式的。由于小批量内的采样实例不能完全反映真实分布，因此得到的运输距离缺乏判别性，估计的运输计划有偏差。

（2）其次，一些OT方法忽略了目标域的标签信息和潜在结构

为了解决上述瓶颈问题，本文提出了一种增强传输距离(ETD)模型来解决UDA中的分类问题。模型的基本结构由特征提取网络、分类网络和运输计划优化三部分组成。第三部分特别强调了我们的新颖性。本文的主要贡献总结如下:

  • 为了充分利用分类网络基于类别的输出，利用注意机制来估计样本之间的相似性，并用注意分数来衡量传输距离cost函数。期望加权距离能够很好地学习判别特征。区别于Curty的类正则
  • 采用三层全连通网络对Kantorovich potential进行重新参数化，取代了传统半对偶优化问题中的矢量对偶变量（即对偶变量用向量表示）
  • 利用目标域上的熵准则来探索目标分布的内在结构。提高了学习到的分类器的可移植性。整个模型以端到端的方式进行训练。

OT简要回顾

OT距离最初被公式化为Monge问题。考虑分别从空间X和Z采样的两个随机变量X～µ和Z～v，以及损失函数

OT的目标是找到两个度量空间之间的映射，使得两个概率测度之间的传输成本最小。 

Kantorovich通过将Monge问题转化为耦合（X，Z）～π的最小化，而不是映射集ÿ

最低0.47元/天 解锁文章
羊驼不驼a
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最优传输论文（七）：Enhanced Transport Distance for Unsupervised Domain Adaptation论文原理
lyy的博客
05-22 718
目录前言原理阐述文章介绍介绍OT简要回顾及符号定义本文模型基于注意力模型对距离重新加权Kantorovich势的网络再参数化Discriminant Features Adaption and Model Optimization总结 前言 本文属于我最优传输系列里的七篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍 文章发表于2020年的CVPR。 介绍 现有的基于OT距
最优传输论文（二十四）：Reliable Weighted Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
08-26 477
目录前言摘要1. Introduction2. Related work3. Reliable Weighted Optimal Transport3.1. Shrinking Subspace Reliability3.2. Weighted Optimal Transport3.3. Discriminative Centroid Exploitation3.4. Training4.实验4.1.设置4.2.实施细节4.3. Result and Discussion4.4.分析5. Conclusio
欧氏距离matlab代码-Tensorflow_Pytorch_Sinkhorn_OT:用于计算两个离散分布之间的最佳运输（OT）距离的Sin
05-27
欧氏距离matlab代码Tensorflow_Pytorch_Sinkhorn_OT 用于计算两个离散分布之间的最佳运输（OT）距离的Sinkhorn算法[1]的Tensorflow（1.0或2.0）和Pytorch实现。 概述 这些实现是从Cuturi到Tensorflow和Pytorch的改编，它们能够利用其自动差异功能和在GPU上运行的能力。 这些实现并行计算N对离散分布对（即，概率向量）之间的OT距离。 它对应于Cuturi实施中的“ N倍1-vs-1模式”。 输入 a ：D_1×N矩阵，每列是D_1维（规格化）概率向量。 b ：D_2×N矩阵，每列是D_2维（规格化）概率向量。 M ：D_1×D_2矩阵，成本函数正，对角线应为零。 lambda_sh, numItermax, stopThr ：算法的参数，与Cuturi的实现相同。 a, b, M是Tensorflow或Pytorch的张量，因此，反向传播适用。 输出 该算法输出一个N维矢量，第n个元素是a[:,n]与b[:,n]之间的（近似）OT距离。 测试 在test.py文件中，提供了Cuturi的Matlab实现与我
CVPR-2020-point-cloud-analysis:专注于点云分析的CVPR 2020论文
05-28
CVPR-2020点云分析 专注于点云分析的CVPR 2020论文 [] [] [] [] segmention [] segmention classification [] compression oral completion [代码] 基于图像的3D对象检测的端到端伪LiDAR [代码] 点网络segmentation 更深入 [代码] 学习多视图3D点云注册 几何和学习共同支持的非结构化点云正态估计。 normal estimation LG-GAN：标签导向对抗网络，可针对基于点云的深度网络进行灵活的有针对性的攻击。 attack [代码] 对抗攻击下深3D点云模型的等轴测度鲁棒性。 attack [代码] 云中的卷积：学习3D图卷积网络中的可变形内核以进行点云分析。 classification segmentation [代码] 用
Unsupervised-Domain-Adaptation-with-Differential-Treatment:[CVPR 2020]东西区别对待
05-04
东西的差异处理：语义分割的一种简单的无监督域自适应方法 该存储库适用于CVPR2020接受的以下论文中介绍的Stuff Instance Matching（SIM）框架 ，，， ，， ，和 介绍 在这项工作中，我们通过减轻源域（合成数据）和目标域（实际数据）之间的域迁移来考虑语义监督的无监督域自适应问题。 最新的方法证明执行语义级别的对齐有助于解决域转换问题。 基于观察发现，东西类别通常在不同域的图像上具有相似的外观，而事物（即对象实例）具有更大的差异，我们建议使用不同策略针对东西区域和事物改进语义级别的对齐方式：1）对于在填充类别中，我们为每个类生成特征表示，并执行从目标域到源域的对齐操作； 2）对于事物类别，我们为每个单独的实例生成特征表示，并鼓励目标域中的实例与源域中最相似的实例对齐。 这样，事物类别内的个体差异也将被认为可以减轻过度对齐的情况。 除了我们提出的方法外，我们还揭示了当
BlendedMVS大型合成据集论文 下载-CVPR-2020（数据及论文+译文、源码）
08-27
BlendedMVS数据集是Yao等人2020年发布的用于MVS训练的大型合成数据集， 包含113个精心选择场景，涵盖城市、建筑、雕塑和小物体等，每个场景包含20到1000张输入图像，总共有17818张高分辨率图像。 图像由普通相机采集和航拍集构成，场景包含各种不同的摄像机轨迹，非结构化的摄像机轨迹可以更好地模拟不同的图像捕获风格。该数据集提供了可靠的相机标定，可以用于MVS训练，并分为106个训练场景和7个验证场景。
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
最优传输论文（八）Enhanced Transport Distance for Unsupervised Domain Adaptation
qq_42595295的博客
01-04 519
1.将Kantorovich潜在网络进行参数化，并根据深度特征返回最优传输计划g(f(x)) 用神经网络g来表示潜在特征对偶变量v，对应参数Wg , 优化传输计划πε的过程转化为优化网络g的过程. 对网络g进行参数优化后，利用当前参数Wg计算出最优传输距离Wε(µ，ν) 2.利用attention模块重新衡量传输距离，对距离矩阵进行重加权操作，使一个mini-batch实现真实的数据分布 3.最终，通过Kantorovich潜在网络计算得到的g(f t j)与重加权后的距离矩阵c(f s i,f t j)得
【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation
zhy455的博客
10-17 2331
@[TOC](【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation)) 论文地址：http://cn.arxiv.org/pdf/1702.08400v3 代码地址：https://github.com/corenel/pytorch-atda#pytorch-atda 基本介绍 ATDA 解决的问题： 源数据有类别标签，...
无监督的MVSNet （源码）-Unsupervised MVSNet-CVPR-2019
08-22
无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）---- 无监督的MVSNet （源码）----Unsupervised MVSNet——CVPR-2019 无监督的MVSNet （源码）----Unsupervise
MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation 阅读笔记
weixin_51657614的博客
03-19 711
在无监督域自适应(UDA)中，在源数据(如合成)上训练的模型在不访问目标注释的情况下适应目标数据(如现实世界)。大多数以前的UDA方法都难以处理在目标域上具有相似视觉外观的类，因为没有可用于学习轻微外观差异的基础真理。为了解决这个问题，我们提出了一个掩蔽图像一致性(MIC)模块，通过学习目标域的空间上下文关系作为鲁棒视觉识别的额外线索来增强UDA。MIC增强了掩膜目标图像的预测之间的一致性，其中随机补丁被保留，而伪标签是由指数移动平均教师基于完整图像生成的。
最优传输论文(四)Deep multi-Wasserstein unsupervised domain adaptation
qq_42595295的博客
12-09 521
在域适应过程中，标准泛化边界提示我们最小化三个项的总和:(a)源域真实风险，(b)源和目标域之间的散度，©。本文中提出MCDA方法——最小化前两项，同时控制第三项，从而解决忽略第三项带来的问题。MCDA受益于高度自信的目标样本(使用softmax预测)，以最小化按类别的Wasserstein距离，并有效地。
最优传输（OT）
芒果干的博客
10-30 7686
1. 基本概念 最优传输是在可分度量空间中，讨论概率测度间最优传输变换的一类优化问题，涉及到偏微分方程和凸几何等多种理论，是多学科交叉的研究领域。直观的一个解释是：假设有两个工地\( X \)和\( Y \)，工地\( X \)上有\( m \)堆土，工地\( Y \)上有\( n \)个坑，现在要将工地\( X \)上的\( m \)堆土全部.
算法训练营day41
stmfresher的博客
05-27 372
动态规划理论基础（主要就是确定动态规划的几个步骤）
算法每日一题（python,2024.05.24) day.6
L613Z的博客
05-27 535
数字比较型可以用双指针法寻找数字相同（或构成其他关系）的俩个数值（或其他类型），涉及到与数值有关的列表问题可以思考到sort()排序方法加以辅助。
一千题，No.0037（组个最小数）
2301_76783671的博客
05-29 715
给定数字 0-9 各若干个。你可以以任意顺序排列这些数字，但必须全部使用。目标是使得最后得到的数尽可能小（注意 0 不能做首位）。例如：给定两个 0，两个 1，三个 5，一个 8，我们得到的最小的数就是 10015558。输入在一行中给出 10 个非负整数，顺序表示我们拥有数字 0、数字 1、……整数间用一个空格分隔。10 个数字的总个数不超过 50，且至少拥有 1 个非 0 的数字。现给定数字，请编写程序输出能够组成的最小的数。在一行中输出能够组成的最小的数。
图形学初识--空间变换
航行的土豆的博客
05-29 874
介绍二维和三维下的变换矩阵以及常见的推导和理解方式。主要就是：平移、旋转、缩放
并查集拓展（扩展域并查集）
最新发布
Qlarkstar的博客
05-29 946
事实证明，扩展域并查集应该在带权并查集前面讲的，因为比较好理解，而且回过头看带权并查集可能也会更轻松一些。
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值