Knowledge Distillation for BERT Unsupervised Domain Adaptation

最新推荐文章于 2023-08-12 19:46:58 发布
最新推荐文章于 2023-08-12 19:46:58 发布
阅读量443 收藏 1
点赞数
分类专栏： domain adaption（域适应） 文章标签： 深度学习 pytorch 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42232024/article/details/109623048
版权

1、介绍
Knowledge Distillation for BERT Unsupervised Domain Adaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移，提出了一种简单而有效的无监督域适应方法，它将对抗性区分域适应（ADDA）框架与知识相结合蒸馏，在30个领域对的跨域情感分类任务中测试方法，其基本网络结构图如下所示:

在这里插入图片描述

2、主要技术
BERT模型预处理源域数据，提取相应特征，然后运用distillation技术实现源域知识到目标域知识的迁移，从而达到目标域的情感分类任务，下图为知识蒸馏技术方法:

在这里插入图片描述

VLU
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Deep Transfer Network: Unsupervised Domain Adaptation
02-09
Deep Transfer Network: Unsupervised Domain Adaptation
【深度学习】论文导读：无监督域适应（Deep Transfer Network: Unsupervised Domain Adaptation）
热门推荐
xf__mao的博客
01-14 2万+
一、Domain adaptation 在开始介绍之前，首先我们需要知道Domain adaptation的概念。Domain adaptation，我在标题上把它称之为域适应，但是在文中我没有再翻译它，而是保持它的英文原意，这也有助于我们更好的理解它的概念。 Domain adaptation的目标是在某一个训练集上训练的模型，可以应用到另一个相关但不相同的测试集上。 对这个问题列
《Knowledge Distillation for BERT Unsupervised Domain Adaptation》阅读笔记
最新发布
qq_60355645的博客
08-12 177
对《Knowledge Distillation for BERT Unsupervised Domain Adaptation》这篇论文进行了原理梳理与阐述，发表了个人的见解。
Unsupervised Domain Adaptation by Backpropagation
weixin_37958272的博客
03-23 2274
Unsupervised Domain Adaptation by Backpropagation 顶级性能的深层体系结构是在大量标记数据上训练的。在某项任务没有标记数据的情况下，域适配(domain adaptation)通常提供了一个有吸引力的选择，因为具有相似性质但来自不同domain的标记数据（例如合成图像）是可用的。在这里，我们提出了一种新的深度体系结构domain adaptation方法，该方法可以训练来自source domain的大量标记数据和来自target domain的大量未标记数据
论文笔记-Unsupervised Domain Adaptation via Regularized Conditional Alignment
kingsleyluoxin的博客
09-28 568
论文信息 论文标题：Unsupervised Domain Adaptation via Regularized Conditional Alignment 论文作者：Safa Cicek, Stefano Soatto 研究机构：UCLA Vision Lab; University of California, Los Angeles 论文出处：ICCV 2019 引用信息： @inproceedings{DBLP:conf/iccv/CicekS19, author =
Structured Attention Knowledge Distillation for Lightweight Netw
01-17
论文"Structured Attention Knowledge Distillation for Lightweight Networks"针对这一问题提出了结构化注意力蒸馏（Structured Attention Distillation）。该方法创新性地关注模型中的特征通道分组，通过精细化的...
Multiresolution Knowledge Distillation for Anomaly Detection训练代码
02-13
Multiresolution Knowledge Distillation for Anomaly Detection训练代码
Multiresolution Knowledge Distillation for Anomaly Detection网络结构
02-13
Multiresolution Knowledge Distillation for Anomaly Detection网络结构
Multiresolution Knowledge Distillation for Anomaly Detection完整代码
02-14
本文通过运用知识蒸馏方面的知识，通过对源网络提取预训练的综合知识提取到一个更简单的克隆网络中训练，然后利用梯度得到精确的异常定位热图。 首先对于源网络，使用的是VGG16，将网络分为四层，分割点为最后四个...
Focal and Global Knowledge Distillation for Detectors(1).pptx
04-26
Focal and Global Knowledge Distillation for Detectors 目标检测中，知识蒸馏已成功地应用于图像分类，但由于物体检测的复杂性，大多数知识蒸馏方法都失败了。本文指出，在物体检测中，教师和学生的特征在不同的...
第二十四篇——Unsupervised Domain Adaptation by Backpropagation.pdf
11-23
顶级的深层架构是在大量标记数据上训练的。在某项任务缺少标记数据时，域适应通常提供了一个有吸引力的选择，因为可以获得性质相似但来自不同领域的标记数据(例如合成图像)。在此，我们提出了一种新的领域适应方法，该方法可以训练来自源域的大量标记数据和来自目标域的大量未标记数据(不需要标记的目标域数据)。随着训练的进行，该方法促进了“深度”特征的出现，这些特征(i)对源域上的主要学习任务具有区分能力，(ii)对于域之间的转换不变性。我们表明，这种适应行为可以在几乎任何前馈模型中实现，通过增加少量的标准层和一个简单的新的梯度反转层。由此产生的增强架构可以使用标准的反向传播进行训练。总的来说，使用任何深度学
DANN：Unsupervised Domain Adaptation by Backpropagation
gdtop的个人笔记
04-17 1万+
本篇是迁移学习专栏介绍的第十三篇论文，发表在ICML15上。论文提出了用对抗的思想进行domain adaptation，该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器、特征提取器、以及领域判别器。通过最小化分类器误差，最大化判别器误差，使得学习到的特征表达具有跨领域不变性。 Abstract 高性能的深层体系结构是针对大量标记数据进行训练的。在缺少特定任务的标...
Unsupervised Domain Adaptation by Backpropagation(2015)学习笔记
且慢
10-25 899
Unsupervised Domain Adaptation by Backpropagation(2015)学习笔记 文章目录Unsupervised Domain Adaptation by Backpropagation(2015)学习笔记tipabstract1.introduction2.related work3.Deep Domain Adaptation3.1The model3.2 Optimization with backpropagation4.experiments4.1 res
无监督域适应 （UDA）（1）
05-09 4037
经典机器学习假设训练集和测试集来自相同的分布。然而，这个假设在现实世界的应用程序中可能并不总是成立，例如，数据来源不同。这种情况下，域分布之间会存在差异，直接将训练好的模型应用于新数据集可能会导致性能下降。本贴主要讨论（有标签的源域、无标签的目标域）。
Unsupervised Domain Adaptation by Backpropagation小猛阅读整理
weixin_44062399的博客
03-20 461
Unsupervised Domain Adaptation by Backpropagation阅读整理一、 论文下载链接及小猛的整理规则二、摘要1、摘要中文整理2、小猛的懵点和理解2.1本文想解决什么问题2.2gradient reversal layer（梯度反转层）是什么东西，有什么意义三、介绍1、介绍中文整理 一、 论文下载链接及小猛的整理规则 论文已上传至我的资源供各位研友免费下载：https://download.csdn.net/download/weixin_44062399/15878
论文阅读1 | Unsupervised Domain Adaptation in the Dissimilarity Space for Person Re-identification
滨哥v5的博客
03-29 371
UDA
TGRS2022/云检测：Unsupervised Domain Adaptation for Cloud Detection Based on Grouped Features Alignment
ssshyeong的博客
07-11 1265
我们提出了一种无监督域自适应（UDA）方法，将源卫星标记图像上训练的模型推广到目标卫星的未标记图像。为了有效解决跨卫星图像的域偏移问题，我们开发了一种新的基于分组特征对齐（GFA）和熵最小化（EM）的UDA方法来提取域不变表示，以提高跨卫星图像的云检测精度。拟议的UDA方法在“Landsat-8→ ZY-3”“和”GF-1→ ZY-3“域适应任务上进行了评估。实验结果证明了我们的方法对现有最先进的UDA方法的有效性。...
Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation
sinat_39207356的博客
02-14 1414
Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation Abstract 方法：Bi-Classifier Determinacy Maximization (BCDM)。 针对问题：之前的方法通常利用双分类器之间的分歧性（disagreement）来学习可转移的表示，然而，它们往往疏忽了目标域中分类器的断定性（determinacy），这可能会导致模型缺乏特征辨别能力。 新的度量方法：Classifier
Unsupervised Domain Adaption (UDA)及domain shift介绍
罟霖同学的站点
05-08 1274
本文主要对UDA问题进行了简略的介绍，并且给出了一些常用的方法，最后主要对Self trainging 方法在UDA上的应用进行了介绍，对domain shift问题进行分析。
multiresolution knowledge distillation for anomaly detection
06-06
多分辨率知识蒸馏用于异常检测。 多分辨率知识蒸馏是一种通过从一个复杂模型中提取出知识并将其转移到一个简单模型中来实现模型压缩和优化的技术。在异常检测方面，多分辨率知识蒸馏被用于将一个大型模型中的知识转移到一个小型模型中，以便快速且准确地检测出异常数据。通过使用多分辨率的方法，模型可以同时关注不同级别的特征，从而提高检测的精度和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值