【学习】domain adaptation、BERT

于 2023-01-02 14:20:44 发布
阅读量731 收藏 1
点赞数
文章标签： 学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raphael9900/article/details/128519591
版权

文章目录

一、domain adaptation领域适应

在这里插入图片描述
训练资料和测试资料分布不一样。
域转移domain shift:训练和测试数据有不同的分布。
在这里插入图片描述

domain shift

在这里插入图片描述
想法:通过源数据训练模型，然后通过目标数据微调模型
挑战:只有有限的目标数据，所以要小心过度拟合
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

domain adversarial training在这里插入图片描述

希望他们的分布没有差异
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
右边的好一点，可以让他们远离界限，下面就是这种做法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

domain generalization

没有未知领域的资料
在这里插入图片描述

二、自监督学习

在这里插入图片描述
在这里插入图片描述

多语言BERT的跨语言能力

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
无视不同语言的差别，了解语义。

在这里插入图片描述
在这里插入图片描述
MRR分数越高越好
在这里插入图片描述
在这里插入图片描述
实际上BERT在做QA的时候用的是同一种语言，可以看出语言之间是有差异的，只是没找到。
在这里插入图片描述
我们找到英文和中文符号之间的平均之后，得到差距，就能互换了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

交叉学科能力

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
BERT在优化和generalization上都做的好
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
但是还是要有文字语音对应的资料
在这里插入图片描述
有没有可能只有语音资料呢？
在这里插入图片描述
训不了
把VQ进行离散化，加入自注意，不行：
在这里插入图片描述
把这些符号换成文字，可以实现：
在这里插入图片描述
在这里插入图片描述

用人工数据进行预训练

在这里插入图片描述
在这里插入图片描述
通过生成不同规则的人工数据，可以知道前期训练成功的关键因素是什么。

在这里插入图片描述
在这里插入图片描述
人工数据的预培训：与从头开始培训相比，平均绝对改进(%)
随机令牌上的预训练产生与从头开始训练相同的性能，没有用
成对资料有用：
在这里插入图片描述
产生连续编号的序列，打乱之后掩码，做的也比较好。
在这里插入图片描述
到底什么能力对NLP任务是有用的呢？
与从头开始培训相比，平均绝对改进(%)：
在这里插入图片描述
长序列对于任务是有用的。

Raphael9900
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Domain-Adaptation:这是一些纽约大学数据科学研究人员和IBM NLP研究小组之间的2021年Spring合作项目
04-08
领域适应 这是2021年Spring，一些纽约大学数据科学系的学生与IBM NLP研究小组之间的合作项目。 使用同域标记的数据来提高问题解答中预先训练的语言模型的性能 Aditya Singhal，David Shimshoni，Alex Sheng，Avi Sil，Sara Rosenthal 动机 成功完成一项任务的微调可能需要成千上万个金标准数据输入，这可能需要花费数年的时间来收集，或者可能会非常费力且成本高昂。 这种质量和数量并不总是适用于较小域中的特定任务。 但是，针对特定领域的微调的好处已在Lee等人的论文中清楚地显示出来。 Al 2019和Gururangan等。 2020年等人。后者的论文证明了使用无监督语料进行领域自适应预训练（DAPT）可以提高语言模型在同一领域的监督学习任务上的下游表现。 我们认为，成功地使用来自不同受监管任务（例如NER）的稀疏，特定于域的标记数据进
Knowledge Distillation for BERT Unsupervised Domain Adaptation
weixin_42232024的博客
11-11 432
1、介绍 Knowledge Distillation for BERT Unsupervised Domain Adaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移，提出了一种简单而有效的无监督域适应方法，它将对抗性区分域适应（ADDA）框架与知识相结合蒸馏，在30个领域对的跨域情感分类任务中测试方法，其基本网络结构图如下所示: 2、主要技术 BERT模型预处理源域数据，提取相应特征，然后运用distillation技术实现源域知识到目标域知识的迁移，从而达到
Some examples of applying BERT in specific domain【Applying BERT in specific domain】
技术博客
08-01 388
Several new pre-trained contextualized embeddings are released in 2018. New state-of-the-art results is changing every month.BERTis one of the famous model. In this story, we will extend BERT to see...
浅谈NLP中的领域自适应（Domain Adaptation） 技术
Paper weekly
10-27 2488
©作者 | 徐超单位 | 微软亚洲研究院研究方向 | 文本相关性、多语言扩展机器学习尤其是深度学习将 NLP 推向了前所未有的高度，近几年出现的预训练模型更是绽放异彩。在训练机器学习模型...
深度学习进行领域适应(Domain Adaptation)开山之作
zenRRan的博客
05-28 1661
来自：SimpleAI论文标题：Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Ap...
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted ...
domainAdaptation
03-25
domainAdaptation
domain adaptation
01-10
域适应的经典文章，cvpr，强化学习，迁移学习，核函数匹配
domain adaptation.rar
10-11
迁移学习论文呢阅读报告：DANN、RTN、DARN、MDAN、MWGAN、WDGRL
An introduction to domain adaptation and transfer learning.pdf
09-18
域适应和迁移学习介绍 深度学习 机器学习 transfer learning
迁移学习之Domain Adaptation
岁月如歌
06-05 1331
关于迁移学习的两篇文章，先简单记录一下，后面再进行补充 https://chenrudan.github.io/blog/2017/12/15/domainadaptation1.html https://blog.csdn.net/weixin_37993251/article/details/89398433
【机器学习】李宏毅——Domain Adaptation(领域自适应)
FavoriteStar的博客
09-21 1584
本文介绍了Domain Adaptation(领域自适应)的相关知识，包括现在出现的具体问题、问题如何解决、所面对的各种情况等等。
How do they apply BERT in the clinical domain?【BERT in clinical domain】
技术博客
08-01 626
This story is published in bothDev.toand Medium. Contextual word embeddings is proven that have dramatically improved NLP model performance viaELMo(Peters et al., 2018),BERT(Devlin et al., 2018...
BERT的一些实践
weixin_33963189的博客
03-25 129
阅读材料 关于BERT的解读有很多，我在学习的时候主要阅读了以下的几篇分享： BERT原始论文，BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ELMo原始论文 Deep contextualized word representations nlp的巨人肩膀 The Illustr...
对抗性互学习域适应情绪分类：Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning
g534441921的博客
07-07 1463
通过深度对抗性互学改进领域适应情绪分类AbstractIntroduction Abstract 域适应情绪分类是指在已标记的源域上进行训练，以很好地推断未标记的目标域上的文档级情绪。大多数现有的相关模型包括一个特征提取器和一个情绪分类器，其中特征提取器致力于从两个领域学习领域不变特征，而情绪分类器只在源领域上进行训练，以指导情绪提取器。因此，他们缺乏一种机制来使用位于目标域的感应极性。因此，他们缺乏一种机制来使用位于目标域的感应极性。我们设计了一种新的深度对抗互学习方法，包括两组特征提取器、领域鉴别器、情
BERT微调效果不佳？不如试试这种大规模预训练模型新范式
Kaiyuan_sjtu的博客
11-23 1480
BERT模型自发布至今已整整两年了，但是其余热仍未消减。从一经问世的轰动，简单应用/微调便可达到某个领域或者任务的SOTA效果；到如今的各种『被吊打』，BERT巨人肩膀上的新宠大致可以分...
Domain Adaptation总结（2017.9）
MataFela的博客
09-03 2万+
有一篇论文（[cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation ）对Domain Adaptation做了一定的总结，我直接把我当时的翻译抄一下： 常见的域适应包括基于实例（instance-based）的适应、基于特征表示( feature representation）的适应、
域适应（Domain Adaptation）综述
weixin_45836130的博客
09-05 4111
有一种方法如下图所示，我们有许多无标签的数据，它们经过Feature Extractor和Label Predictor后，不知道属于哪个类别，但希望离边界越远越好，离边界远的意思就是输出的结果非常集中，集中在某一个类别上，离边界近的意思是输出的结果的每一个类别都非常接近，不知道属于哪类。假设我们在训练集上训练黑底白字的手写数字集后（如下图），再把它用在同样是黑底白字的测试集上所得到的效果非常好（99.5%），但是如果把它用在有颜色的数字上的时候，它的效果就没之前那么好了（57.5%）。
域适应（domain adaptation）
热门推荐
如果想成为中心，那么就到中心去吧。
05-22 3万+
文章目录导读前言域适应类别任务相关性一步域适应技术及其应用基于散度的域适应基于对抗的域适应基于重建的域适应结论 导读 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？请看 AI 前线翻译的这篇文章，希望能有所启
Domain adaptation
最新发布
04-04
Domain adaptation is a type of machine learning technique that is used to transfer knowledge from one domain to another. In other words, it is the process of modifying a model that was trained on one domain (e.g. images of cats) so that it can perform well on another, related domain (e.g. images of lions). The need for domain adaptation arises when the training data and the testing data come from different distributions. In such cases, a model trained on one domain may not perform well on another domain, as the features that are relevant in one domain may not be relevant in the other. Domain adaptation techniques attempt to bridge this gap by adapting the model to the new domain. This can be achieved by various means, such as re-weighting the training data, learning domain-invariant features, or using domain-specific knowledge to modify the model. Domain adaptation has applications in various fields, including computer vision, natural language processing, and speech recognition.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值