【迁移学习】domain adaptation and metric learning基础知识及博客整理

最新推荐文章于 2023-04-27 09:18:33 发布
最新推荐文章于 2023-04-27 09:18:33 发布
阅读量935 收藏 6
点赞数 1
分类专栏： Transfer learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a529975125/article/details/79574544
版权
本文介绍了迁移学习和度量学习的基本概念。迁移学习通过适应辅助数据或分类器到新领域优化目标域的学习目标。度量学习旨在通过捕捉训练集的空间结构来提高分类准确性。最大均值差异（MMD）用于衡量两个分布的相似度，与再生核希尔伯特空间（RKHS）和核函数等概念紧密相关。同时，文章提到了如三元损失等损失函数在度量学习中的应用。
摘要由CSDN通过智能技术生成

定义

Metric learning

  • supervised method
    • the basic idea is to find a metric under which the data from the same classes are close while from different ones far apart.[1]
  • unsupervised metric learning methods
    • the basic idea is to discover a space or metric in a low-dimensional space which preserves the geometric relationships of the data in the original space.[1]
  • domain adaptation approaches
    • adapt auxiliary data or classifiers to a new domain to optimize the learning objective in the target domain.[1]
  • metric
    • 在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间[2]
  • metric learning
    • aims to improve the classification accuracy by capturing the spatial structure of the training set
最低0.47元/天 解锁文章
Vincent_gc
关注
专栏目录
Domain Impression A Source Data Free Domain Adaptation Method
weixin_37958272的博客
03-22 857
Domain Impression: A Source Data Free Domain Adaptation Method 无监督域自适应方法解决了一个未标记目标集的自适应问题，假设源数据集具有所有标签。然而，在实际案例中，实际来源样本的可用性并不总是可能的。这可能是由于内存限制、隐私问题和共享数据的挑战造成的。这个实际场景在域适配问题中造成了一个瓶颈。本文通过提出一种不需要任何源数据的domain adaptation technique来解决这一具有挑战性的问题。我们只提供了一个在源数据上训练的分类器
迁移学习——Domain Adaptation
热门推荐
小花生的博客
07-08 5万+
Domain Adaptation 在经典的机器学习问题中，我们往往假设训练集和测试集分布一致，在训练集上训练模型，在测试集上测试。然而在实际问题中，测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现所谓过拟合问题：模型在测试集上效果不理想。 以人脸识别为例，如果用东方人人脸数据训练，用于识别西方人，相比东方人识别性能会明显下降。 当训练集和测试集分布不一致的情况下，通过在训练...
M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning
Mrhuang的博客
05-24 952
基于域适应度量的对抗性判别神经网络 1) 应用度量学习方式去训练源域模型，通过the triplet loss（）进行优化。这样的结果使具有相同标签的类别相互靠近，不同类别的标签相互远离。 2)利用对抗的方式像ADDA从源域和目标域中提取特征，同时，我们优化了一个新的损失函数，促进目标域数据集从聚类中嵌入。 神经网络，通过最小化每个目标域样本嵌入和它对应于源域嵌入的聚类中心。 ...
迁移学习 --- Domain Adaptation
micklongen的专栏
10-29 1148
C. 人工智能 — 迁移学习 - Domain Adaptation 概述 概念 不同的数据分布，但是相同的任务 难点 源域和目标域 的特征空间，映射到同一个分布 领域迁移 第一种：训练数据和测试数据不一样 第二种：输出的发布发生变化 第三种：输出的关系（标签）发生变化 Target Domain 的数据完备程度 数据很多，并且都有标签 直接使用分类算法 数据很少，但是都打了标签 避免 过拟合 控制 epoch 次数 调整 Learning rate 数据量大，但是没
Domain Adaptation for Object Recognition: An Unsupervised Approach
gdtop的个人笔记
04-17 1548
本篇是迁移学习专栏介绍的第十五篇论文，由马里兰大学帕克分校完成发表在ICCV2011上，引用量超600+的论文，算是domain adaptation发表较早的论文。 Abstract 将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中，我们提出了在对象识别上下文中关于无监督域适应的首批研究之一，其中我们只标记了来自源域的数据(因此没有跨域的对象类别之间的对...
CVF2020邻域自适应/语义分割：FDA: Fourier Domain Adaptation for Semantic SegmentationFDA：用于语义分割的傅立叶域自适应算法
ssshyeong的博客
04-19 3827
我们提出了一个简单的领域对齐方法，它不需要任何学习，只需要一个简单的傅里叶变换及其逆变换，可以很容易地集成到一个学习系统中，将无监督领域适应转换为半监督学习。当集成到一个相对标准的语义分割模型中时，它在当前的基准测试中实现了最先进的性能。
迁移学习——论文集推荐
Lingyun
06-26 7033
来自PaperWeekly的CSDN 文章 14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04 迁移学习对于人类来说，就是掌握举一反三的学习能力。对于计算机而言，所谓迁移学习，就是从一个或多个源任务（source task）中抽取知识和经验，然后将其应用于一个有相关性的目标领域（target domain）。 （1）Domain adaptation via tr...
cross_domain_adaptation
weixin_39656383的博客
06-21 645
Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification setup: source with data and label; target with data and no label 3 works: Construct an ensemble prediction model by performing diverse featur
【DA】Deep Visual Domain Adaptation: A Survey（持续更新ing）
PRIS-SCMonkey的博客
03-29 2273
1. DA Overview2. Approaches of Deep DA2.1 Categorization of One-step DA2.1.1 Discrepancy-based DA：基于差异的DA2.1.2 Adversarial-based DA：基于生成的DA2.1.3 Reconstruction-based DA：基于重构的DA2.2 Categorization of M...
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
Metric Learning A Survey
01-09
The metric learning problem is concerned with learning a distance function tuned to a particular task, and has been shown to be useful when used in conjunction with nearest-neighbor methods and other techniques that rely on distances or similarities. This survey presents an overview of existing research in metric learning, including recent progress on scaling to high-dimensional feature spaces and to data sets with an extremely large number of data points. A goal of the survey is to present as unified as possible a framework under which existing research on metric learning can be cast. The first part of the survey focuses on linear metric learning approaches, mainly concentrating on the class of Mahalanobis distance learning methods. We then discuss nonlinear metric learning approaches, focusing on the connections between the nonlinear and linear approaches. Finally, we discuss extensions of metric learning, as well as applications to a variety of problems in computer vision, text analysis, program analysis, and multimedia.
领域自适应(Domain Adaptation)方法综述
SmartLab307的博客
04-27 8648
领域自适应(Domain Adaptation)方法综述
Domain Adaptation
qq_41322802的博客
07-12 470
本文都是李宏毅老师课堂上的总结 背景和意义： 通常在实际生活中我们的训练集和测试集有很大的差异，例如下图左边为你的训练集，而真正让你进行检测和预测的确是右边的图片。 1. Domain Adaptaion 与 transformer learing的区别 Domain Adaptation 是 transformer learing 的一个子部分 如上图所示 就是只有source domain 有label ，在不同的domain 中预测相同的任务 2.什么是domain？ 按照数据分类（例如：我们
Understanding Domain Adaptation
bbbeoy的专栏
11-09 326
Note — I assume the reader has some basic knowledge of neural network and its working. Domain adaptation is a field of computer vision, where our goal is to train a neural network on asource datasetand secure a good accuracy on thetarget datasetwhich ...
最优传输论文（三）：Joint distribution optimal transportation for domain adaptation论文原理
lyy的博客
05-12 979
目录前言原理阐述文章介绍背景Joint distribution Optimal TransportOptimal transport in domain adaptationJoint distribution optimal transport loss其他 前言 本文属于我最优传输系列里的二篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍 背景 当下域适应问题的解决方法之
模型汇总15 领域适应性Domain Adaptation、One-shot/zero-shot Learning概述
lqfarmer的博客
06-18 3639
几乎所有希望在实际应用中使用机器学习算法的人都会遇到领域适应性（Domain Adaptation）的问题：我们在固定的source domain建立了模型，但希望把我们的模型部署到另外一个或几个不同的target domain中。领域的适应性问题在机器学习实际应用的各个领域都非常常见。 获取最新消息链接：获取最新消息快速通道 - lqfarmer的博客 - 博客频道 - CSDN.NET
领域适应学习(domain adaptation）
wydbyxr的博客
09-30 1万+
领域适应学习(domain adaptation）   iid（独立同分布） 为了解决训练集和测试集的数据分布不匹配（即不满足iid条件），在无监督学习中提出了domain adaptation（领域自适应） 。   领域自适应（Domain Adaptation）是迁移学习（Transfer Learning）的一种，思路是将不同领域（如两个不同的数据集）的数据特征映射到同一个特征空间，这样可利...
迁移学习domain adaptation
最新发布
05-16
迁移学习（Transfer Learning）是指将已经学习好的知识模型应用到新的任务中。在机器学习领域中，由于数据来源、分布、数量等方面的不同，常常需要进行领域自适应（Domain Adaptation）来解决训练数据与测试数据的分布不同的问题。 领域自适应技术（Domain Adaptation）是指将模型从一个源领域（Source Domain）迁移到另一个目标领域（Target Domain）的过程。在迁移学习中，领域自适应技术可以帮助我们在训练数据与测试数据分布不同的情况下，仍然能够获得较好的模型性能。 领域自适应技术的基本思想是通过对源领域和目标领域之间的差异进行建模，并使用这些模型来调整源领域的模型，使其适用于目标领域。常用的领域自适应技术包括对抗性训练（Adversarial Training）、迁移学习（Transfer Learning）等。 在实践中，可以使用一些领域自适应技术来解决一些实际问题，比如在自然语言处理中，可以使用迁移学习技术来实现跨语言文本分类、机器翻译等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值