域适应学习笔记：visual Domain Adaptation

最新推荐文章于 2023-08-08 11:21:13 发布
VIP文章 最新推荐文章于 2023-08-08 11:21:13 发布
阅读量6.5k 收藏 23
点赞数 5
分类专栏： 文章理解 文章标签： 迁移 迁移学习 无监督学习 半监督学习 多任务学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SusanZhang1231/article/details/73275024
版权

在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种 特殊 的迁移学习 叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，所以根据上篇博客中的内容可知，域适应属于一种直推式迁移学习。它在2006年由Daumeaume等人首次提出[1]。
1.域适应的一些基本公式
源域由充足的带标签数据组成，目标域由不充足的带标签数据或者充足的无标签数据组成。且目标域与源域中数据的分布不相同。X，Y分别表示带标签数据的数据以及标签， P(X,Y) 是X，Y的联合概率分布(joint distribution)（联合概率分布的几何意义为：如果将二维随机变量(X,Y)看成是平面上随机点的坐标，那么分布函数F(x,y)在(x,y)处的函数值就是随机点(X,Y)落在以点(x,y)为顶点而位于该点左下方的无穷矩形域内的概率。）。 P(X,Y)s ， P(X,Y)t 分别对应源域以及目标域的联合分布函数。 Ps(X) , Ps(Y) , Pt(X) , Pt(Y) 表示源域和目标域中X以及Y的边缘分布（marginal distributions）(某一组概率的加和，叫边缘概率。边缘概率的分布情况，就叫边缘分布)。 Ps(X|Y) , Ps(Y|X) , Pt(X|Y) ,

最低0.47元/天 解锁文章
SusanZhang1231
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
An introduction to domain adaptation and transfer learning.pdf
09-18
域适应和迁移学习介绍 深度学习 机器学习 transfer learning
论文笔记：Cluster Alignment with a Teacher for Unsupervised Domain Adaptation
01-06
Profile         最近因为个人需要看了一些 DADADA 和 DRDRDR 的文章。         这篇文章比较有意思的是：将聚类设计成目标函数，从而一方面实现经网络抽取特征在分布上的自然聚类，一方面因为特征分布的聚类自然提高了分类效果，一方面加快了聚类的速度，同时最主要的就是实现了不同源域之间的结构的细粒度对齐，从而促进 UDAUDAUDA 算法的性能。 Introduction         DADADA 有一个基本的解决思路就是：认为源域 SSS 与目标域 TTT 的边缘分布在高层语义空间是可以等价的，因此，致力于在高层隐空间拉近两个域的分布，设计为一个类似 min⁡θ
Domain Adaptation for Visual Recognition
01-07
Domain adaptation is an active, emerging research area that attempts to address the changes in data distribution across training and testing datasets. With the availability of a multitude of image acquisition sen- sors, variations due to illumination, and viewpoint among others, com- puter vision applications present a very natural test bed for evaluating domain adaptation methods. In this monograph, we provide a compre- hensive overview of domain adaptation solutions for visual recognition problems. By starting with the problem description and illustrations, we discuss three adaptation scenarios namely, (i) unsupervised adap- tation where the “source domain” training data is partially labeled and the “target domain” test data is unlabeled, (ii) semi-supervised adaptation where the target domain also has partial labels, and (iii) multi-domain heterogeneous adaptation which studies the previous two settings with the source and/or target having more than one domain, and accounts for cases where the features used to represent the data in each domain are different. For all these topics we discuss existing adaptation techniques in the literature, which are motivated by the principles of max-margin discriminative learning, manifold learning, sparse coding, as well as low-rank representations. These techniques have shown improved performance on a variety of applications such as object recognition, face recognition, activity analysis, concept clas- sification, and person detection. We then conclude by analyzing the challenges posed by the realm of “big visual data”, in terms of the generalization ability of adaptation algorithms to unconstrained data acquisition as well as issues related to their computational tractability, and draw parallels with the efforts from vision community on image transformation models, and invariant descriptors so as to facilitate im- proved understanding of vision problems under uncertainty.
Deep Transfer Network: Unsupervised Domain Adaptation
02-09
Deep Transfer Network: Unsupervised Domain Adaptation
今天来聊一聊什么是domain adaptation—域适应
KongDere的博客
08-08 345
综上所述，域适应作为一种重要的机器学习技术，致力于解决源域11:55继续11:56和目标域之间的分布差异问题，在现实世界中具有广泛的应用前景。域适应技术的发展不仅有助于解决跨领域迁移的挑战，还能够降低数据获取成本，加速模型在新领域中的应用和落地。域分类器的目标是区分源域和目标域的样本，而特征提取器的目标是最大化域分类器的错误率，从而获得域不可知的特征表示。这种跨领域知识迁移的问题被称为域适应。通过域适应，我们可以利用已有的源域数据来提升目标域上的模型性能，减少对目标域数据的需求，从而降低数据获取的成本。
域适应（domain adaptation）
热门推荐
如果想成为中心，那么就到中心去吧。
05-22 3万+
文章目录导读前言域适应类别任务相关性一步域适应技术及其应用基于散度的域适应基于对抗的域适应基于重建的域适应结论 导读 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？请看 AI 前线翻译的这篇文章，希望能有所启
迁移学习中域适应简介
豆芽菜
10-03 1662
域适应是计算机视觉的一个领域，我们的目标是在源数据集上训练一个神经网络，并确保在显著不同于源数据集的目标数据集上也有良好的准确性。
域适应（Domain Adaptation）综述
weixin_45836130的博客
09-05 4015
有一种方法如下图所示，我们有许多无标签的数据，它们经过Feature Extractor和Label Predictor后，不知道属于哪个类别，但希望离边界越远越好，离边界远的意思就是输出的结果非常集中，集中在某一个类别上，离边界近的意思是输出的结果的每一个类别都非常接近，不知道属于哪类。假设我们在训练集上训练黑底白字的手写数字集后（如下图），再把它用在同样是黑底白字的测试集上所得到的效果非常好（99.5%），但是如果把它用在有颜色的数字上的时候，它的效果就没之前那么好了（57.5%）。
域对抗（域适应）训练
jacke121的专栏
03-30 5774
在传统监督学习中，我们经常需要大量带标签的数据进行训练，并且需要保证训练集和测试集中的数据分布相似。如果训练集和测试集的数据具有不同的分布，训练后的分类器在测试集上就没有好的表现。这种情况下该怎么办呢？ 域适应（Domain Adaption），也可称为域对抗（Domain Adversarial），是迁移学习中一个重要的分支，用以消除不同域之间的特征分布差异。其目的是把具有不同分布的源域(Source Domain) 和目标域 (Target Domain) 中的数据，映射到同一个特征空间，寻找某一..
常见的域自适应(Domain Adaptation)研究方向
qq_45450414的博客
06-05 2588
随着计算机视觉的发展，目前很多基于深度学习的研究都是基于全监督的方法训练的，一个领域训练的模型不能泛化到相关领域，新领域需重新创建标注数据集训练新的适应模型，导致资源浪费。当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？
《迁移学习:域自适应理论》综述论文
04-28
本综述的主要目的是提供一个特定的、可以说是最流行的迁移学习子领域——领域自适应——最新理论结果的概述。
2021-域自适应-医学图像分析-Domain Adaptation for Medical Image Analysis
09-21
2021-域自适应-医学图像分析 综述译文
域自适应的理解（简单易懂）
程序猿进化梯
11-23 1万+
论文学习：Adversarial Multiple Source Domain Adaptation 论文——Adversarial Multiple Source Domain Adaptation已上传资源，可免费下载 什么是领域自适应？ 从有标记源领域到无标记目标领域的知识转移。 领域自适应Domain Adaptation通过利用不同但相关的源领域中的训练数据来解决目标领域中的学习问题。 关于领域自适应的研究还是比较多的，不过大多数都是基于单源域的适应。 更新… 参考 ...
域适应综述
SmartLab307的博客
06-01 5115
深度域适应综述_一般情况与复杂情况（学习笔记） 文章目录 深度域适应综述_一般情况与复杂情况（学习笔记） 图释 摘要 概述 文章主要内容 1.迁移学习概述 1.1 迁移学习, 域适应以及深度域适应的形式化定义 迁移学习 域适应 深度域适应 域适应与迁移学习的关系 1.2 影响目标域任务性能的因素——泛化误差 1.3 负迁移 2 深度域适应 2.1 基于领域分布差异的方法 2.1.1 基于统计准则的方法⭐⭐⭐ （1）MMD(Maximum Mean Discrepancy, 最大均值差异) （2）CORAL（
域自适应Domain Adaptation
ProceduralMan的博客
07-25 777
这样做的目的是通过最大化均值差异来缩小源域和目标域之间的差异，提高模型的泛化能力和性能。通过学习源域和目标域之间的差异，来实现将源域的模型迁移到目标域的能力。使用源域的数据训练一个SVM模型，然后将源域的数据通过特征变换映射到目标域的特征空间中，并在目标域上微调模型。这样做的目的是通过特征变换来缩小源域和目标域之间的差异，提高模型的泛化能力和性能。这样做的目的是通过特征变换来缩小源域和目标域之间的差异，提高模型的泛化能力和性能。：使用目标域的数据对模型进行微调，进一步提高模型在目标域上的性能。
域适应方法：解决目标任务数据不足
xiaoqianlizhen的博客
09-25 4210
域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段，目前对于很多任务只要有大量标注数据都能达到比较好的效果，然而标注数据的成本是高昂的，尤其是对某些专业性强的术语多的领域，标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。 ​ 01 域适应情感分类论文：Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning，AAAI2020 以往.
深度域适应技术综述
lh16130130282的博客
11-26 2312
关于深度学习域适应的简单综述
【李宏毅机器学习】Domain Adaptation 域适应
发现问题，并解决问题，批判性思维
10-23 1983
我们希望特征处理器feature extractor处理source domain和target domain data后的向量，两者的向量分布都是差不多的（如上图的右下角，颜色接近）。迁移学习能解决很多时候训练集和测试集存在数据分布差异的问题，迁移学习的一种方法——domain adaptation域自适应，一般是表示域不同（数据集集合），但任务相同。fine-tune（微调）：是对已经训练好的模型，把整个这个模型放到另一个数据集上继续进行训练（其中参数继续发生变化）
域适应(DA)---域泛化(DG)
专业主义
05-10 1万+
集成学习卷积神经网络通过激活与标签相关的显性特征来进行图像分类。当训练和测试数据处于类似的分布时，它们的主导功能类似，导致不错的测试性能。尽管如此，在用不同的分布测
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
最新发布
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值