领域自适应｜对比学习 VS 对抗学习

最新推荐文章于 2025-03-02 21:24:30 发布
最新推荐文章于 2025-03-02 21:24:30 发布
阅读量1.1k 收藏 9
点赞数 16
分类专栏： NLP 文章标签： 学习 nlp 迁移学习 生成对抗网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39951635/article/details/144804508
版权

在这里插入图片描述
对比学习 VS 对抗学习 - 小石不秃的文章 - 知乎

刚开始了解领域自适应学习的时候，不了解基于对比学习和基于对抗学习的两类领域自适应方法的侧重点，网上也没找到总结分析，现在想起来还是自己开一个帖子好了，方便后续回顾。
领域自适应问题：原始只用source domain数据训练的模型，对于target domain的数据识别效果很差，因为target domai和source domain之间存在领域偏移。对比学习和对抗学习均可用于解决领域偏移问题。

对比学习

对比学习是判别式自监督学习，侧重于通过对比正反两方面的实例来提取有意义的表征。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠得更近，而不相似的实例应离得更远，目标是学习一个表示空间，其中来自同一类别的source domain和target domain的表示更加接近，而不同类别的表示保持距离较远。
Detect Rumors in Microblog Posts for Low-Resource Domains via Adversarial Contrastive Learning
以信息噪声对比估计（InfoNCE）损失函数为例，最大化不同领域正样本之间的一致性并最小化同一领域负样本之间的一致性。
<

最低0.47元/天 解锁文章
TPAMI 2024 | 通过自我训练与对抗学习平衡实现领域自适应目标检测
小白学视觉
08-31 4351
基于深度学习的目标检测器在泛化到具有显著变化的目标和背景的新目标领域时存在困难。大多数当前方法通过使用图像或实例级别的对抗性特征对齐来对齐领域。这常常因为不想要的背景和缺乏类别特定的对齐而受苦。促进类别级别对齐的一个简单方法是使用未标记领域上的高置信度预测作为伪标签。这些预测通常是嘈杂的，因为模型在领域转移下校准不良。在本文中，我们提出利用模型的预测不确定性来在对抗性特征对齐和类别级别对齐之间找到正确的平衡。我们开发了一种技术来量化类别分配和边界框预测上的预测不确定性。
【有啥问啥】领域自适应（Domain Adaptation, DA）详解
Chauvin的博客
10-05 1734
领域自适应是一种技术框架，旨在解决源领域和目标领域之间数据分布不一致的问题，同时假设这两个领域共享相同的特征空间和标签空间。其核心在于通过一系列技术手段，使模型能够学习到一种跨领域的通用表示，从而有效地将在源领域学到的知识迁移到目标领域。
NLP中的对抗学习VS对比学习-1
Hekena的博客
03-18 2029
思维导图链接：https://www.processon.com/mindmap/64159f9ff502f062b5d616be是为了让模型更鲁棒，对噪声更加的不敏感。 在实现这一点上，有对抗防御、对抗攻击和对抗训练。 对抗防御是识别出更多的样本 对抗攻击是为了构造更多的样本 对抗训练是将样本添加到模型中，以提高模型的鲁棒性embedding是词的表示的一种，一般是可以互相替换的词之间的相似度是比较高的。 大概还是和最初的训练objective 有关，一般的Word embedding的训练是根据自监督
从源到目标：深度学习中的迁移学习与领域自适应实践
最新发布
稻草人
03-02 2414
迁移学习是一种通过借用源领域的知识来解决目标领域任务的方法，尤其适用于目标领域数据有限的情况。通过迁移学习，深度学习模型能够在标注数据少的目标任务上进行训练，利用预先训练好的源领域模型进行微调，显著加快训练速度并提高模型的性能。领域自适应是迁移学习的一个关键子领域，旨在解决源领域和目标领域之间数据分布的差异。当我们拥有标注的源领域数据，却在目标领域缺乏标注数据时，领域自适应通过减少这两个领域之间的分布差异，使得模型能够在目标领域上表现得更好。
对抗判别式领域自适应
海上机械师
04-20 3195
领域自适应技术在不匹配说话人识别的问题中非常有效。这篇文章是图像领域的判别式对抗自适应方法，也同样可以迁移至说话人识别领域。 作者提出了对抗自适应方法的广义框架，进而在此基础上，提出了对抗判别式领域自适应方法 (ADDA)，该方法涉及判别式模型、无共享权重和 GAN 损失。提出的方法在三个任务上进行测试：无监督领域自适应基准任务 - 数字(MNIST、USPS 和 SVHN)、跨模态的自适应学习任务(NYUD)和跨视觉域的自适应学习任务(标准 Office - amazon, webcam, dslr)。
图域自适应与图对比学习文献阅读笔记
ZW13544668239的博客
05-09 1875
引入吸引力与排斥力机制，实现了源域和目标域在域内和域间图表示的局部和全局一致性，并训练了三个（源、域、节点）分类器，完成了对目标域节点的分类工作。输入两个图，生成图的嵌入，计算它们的相似性得分。文章的目标是训练一个可学习的GNN编码器，它将一对图作为输入，并输出它们的低维表示，用于相似度计算。接下来简短介绍两篇引用中的文献，其余3篇引用和本次阅读的主题相差过大。
域对抗自适应算法的设计、不足与改进（Domain Adversarial Learning）
Paper weekly
02-23 8583
©作者 |江俊广单位 |清华大学研究方向 |迁移学习本文主要介绍域自适应（Domain Adaptation）中的对抗域自适应方法（Domain Adversarial Learni...
对抗学习
weixin_39940694的博客
11-09 266
对抗学习 主体内容参考 再embending上加入一个扰动，满足扰动最大但是求解的loss还是最小。其中扰动最大在函数外部做好了，认为沿着梯度上升的方向是扰动最大方向。因为梯度下降是最好的，那上升就是破坏最严重的。 先去改变了embending的值，方法是embending+梯度上升。最后更新的时候恢复embending的值data。让正常的参数的梯度加上扰动的参数梯度。等效于加入扰动。 对pytorch训练模型三部必须操作理解更深刻。参考， loss.backward()仅仅是求解梯度。
对比学习contrastive learning
weixin_43369716的博客
03-09 458
一个例子       尽管我们已经见过很多次钞票长什么样子，但我们很少能一模一样的画出钞票；虽然我们画不出栩栩如生的钞票，但我们依旧可以轻易地辨别出钞票。基于此，也就意味着表示学习算法并不一定要关注到样本的每一个细节，只要学到的特征能够使其和其他样本区别开来就行，这就是对比学习和对抗生成网络（GAN）的一个主要不同所在。 对比自监督学习       利用数据本身为算法提供监督。它通过学习对
对比学习（Contrastive Learning）作为一种自监督学习的方法
XianxinMao的博客
12-05 515
对比学习（Contrastive Learning）作为一种自监督学习的方法，在机器学习和深度学习领域中发挥着越来越重要的作用。其主要目标是优化模型，使得相似的数据样本在特征空间中彼此靠近，而不同的数据样本则被推远
对抗对比学习の论文
whaosoft143ai的博客
12-22 597
基础模型 （foundation models）[1]是通过在大规模未标记数据集上进行自监督预训练 （self-supervised learning）得到的，可以通过微调 （fine-tuning）迁移到广泛的下游任务。这种对抗攻击的存在驱动我们去开发鲁棒的基础模型 （robust foundation models），该模型可以在安全关键的下游任务中具有很好的泛化性 （generalization ability）和对抗鲁棒性 （adversarial robustness）。PGD生成对抗数据过程。
dcgan_mnist（对抗学习）
03-14
提供详细的对抗学习的python程序，并提供具体实例验证，
领域自适应
午夜的行人
12-23 946
领域自适应（Domain Adaptation）是一种技术，用于将机器学习模型从一个数据分布（源域）迁移到另一个数据分布（目标域）。这在源数据和目标数据具有不同特征分布但任务相同的情况下特别有用。领域自适应可以帮助模型更好地泛化到新的领域或环境，从而提高其在目标域上的性能。
笔记——对抗学习
lzay的博客
08-27 937
早在 2014 年，Szegedy et al. [1] 发现只要对深度学习模型的输入添加一些微小的扰动就能轻易改变模型的预测结果。后续的研究将该种扰动称之为对抗扰动，扰动后的输入称为对抗样本，将输入对抗样本误导模型的这一过程称为对抗攻击。深度学习模型遭遇对抗攻击时所表现出的脆弱性，给实际应用带来了极大的风险。自然语言处理的应用比如文本分类、情感分类、问答系统、推荐系统等也都受到了对抗攻击的威胁 在上述背景下，已经有大量的研究集中于提升深度学习模型对于对抗攻击的鲁棒性（也称为对抗防御），其中对抗训练是其中的
antd 文本域超长问题_【论文分享沙龙 | 2020第161期】用于域适应目标重识别的混合存储器下的自步对比学习...
weixin_39779928的博客
11-06 137
论文分享沙龙2020第16期分享人：中国矿业大学硕士侯浩鹏研究方向：计算机视觉 |行人搜索论文标题：Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID (用于域适应目标重识别的混合存储器下的自步对比学习)论文来源：NIPS2020论文下载：https://arxiv....
深度学习----对抗学习
qq_44896301的博客
11-18 764
首先：要认识对抗训练，首先要了解 “对抗样本”，在论文 Intriguing properties of neural networks 之中有关于对抗样本的阐述。简单来说，它是指对于人类来说 “看起来” 几乎一样，但对于模型来说预测结果却完全不一样的样本，比如下面的经典例子（一只熊猫加了点扰动就被识别成了长臂猿）。生成网络生成假数据------------------以假乱真；判别网络判别真假数据---------------找出假数据；就是两个网络互相竞争对抗，一个生成网络，一个判别网络；
什么是对抗学习
iridescentc的博客
04-12 5945
深度学习中的对抗学习 就是两个网络互相竞争对抗，一个生成网络，一个判别网络 生成网络生成假数据------------------以假乱真 判别网络判别真假数据---------------找出假数据 两个网络都在不断增强 ...
对抗学习 学习笔记
qq_41727987的博客
04-26 6620
师兄整理的列表：https://github.com/Guo-Yunzhe/Adversarial_Learning_Paperhttps://gitee.com/guoyunzhe/Adversarial_Learning_SurveyFGSM生成对抗样本的试写：https://github.com/Guo-Yunzhe/adversarial_machine_learning已看完：Intri...
【深度学习基础】对抗学习（Adversarial learning）
十二月的猫
11-28 3897
本系列文章，重点帮助大家理解机器学习中的各种学习包括多任务学习、联邦学习、对比学习等。今天，猫猫来讲讲对抗学习，希望可以和大家一起打开对抗学习的大门！机器学习这一技术自出现之始就以优异的性能应用于各个领域。近年来，随着机器学习的快速发展与广泛应用，这一领域更是得到前所未有的蓬勃发展。目前, 机器学习在计算机视觉、语音识别、自然语言处理等复杂任务中取得了公认的成果，已经被广泛应用于自动驾驶、人脸识别等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值