Cross Domain Few Shot in NLP

最新推荐文章于 2023-09-19 17:01:53 发布

qq_45949611

最新推荐文章于 2023-09-19 17:01:53 发布

阅读量225

点赞数

分类专栏： cross domain 文章标签：自然语言处理人工智能深度学习

本文链接：https://blog.csdn.net/qq_45949611/article/details/129880526

版权

cross domain 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Cross Domain：中文译为跨域。以小样本学习为例，跨域问题是指在学习过程中，源域 (source domain)和目标域 (target domain)在特征空间、类别空间或边缘分布中的某一项或几项存在差异从而在学习过程中引起的问题。
目前跨域的方法主要分为.Domain Adaptation和Domain Generalization。

论文列表：

Taming Pre-trained Language Models with N-gram Representations for Low-Resource Domain Adaptation 2021 ACL
PDF：https://aclanthology.org/2021.acl-long.259.pdf
代码：https://github.com/shizhediao/T-DNA

PDALN: Progressive Domain Adaptation over a Pre-trained Model for Low-Resource Cross-Domain NER 2021 EMNLP
PDF：https://aclanthology.org/2021.emnlp-main.442.pdf

Aspect-Opinion Correlation Aware and Knowledge-Expansion Few Shot Cross-Domain Sentiment Classification 2022 IEEE
PDF：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9882094

Exploiting domain-slot related keywords description for Few-Shot Cross-Domain Dialogue State Tracking 2022 EMNLP
PDF：https://aclanthology.org/2022.emnlp-main.157.pdf

Hardness-guided domain adaptation to recognise biomedical named entities under low-resource scenarios 2022 EMNLP
PDF：https://aclanthology.org/2022.emnlp-main.271.pdf

Taming Pre-trained Language Models with N-gram Representations for Low-Resource Domain Adaptation

在这里插入图片描述
域间隙在很大程度上是由域特定的n-grams引起的。受其启发，我们提出了一种Transformer-based Domain-aware N-gram Adaptor（T-DNA），以有效地学习和合并新领域中不同单词组合的语义表示。我们使用逐点互信息 pointwise mutual information（PMI），通过单词之间的搭配和关联来找到特定领域的单词和短语，以找到和提取特定于领域的n-gram。通过结合N-gram表示来弥补源词汇和目标词汇之间的领域差距。

详见：https://blog.csdn.net/qq_45949611/article/details/129856517

PDALN: Progressive Domain Adaptation over a Pre-trained Model for Low-Resource Cross-Domain NER

在这里插入图片描述
（A）红色数据点表示源数据集的句子嵌入，蓝色数据点是目标数据集的句子嵌入。较大的点是从每个域中选择的样本，以构建自适应数据。（B）自适应数据是形成灰色自适应空间的黄色星星。每个黄色的星对应于它附近的一个较大点。自适应数据通常共享相同的句子特征，但执行跨域单词替换，就像黄色部分交换单词一样。（C）通过自适应数据和基于MMD的域不变特征对预训练的模型进行微调。实际上，自适应空间的作用是引导模型尽可能多地探索目标域空间。基于MMD的领域自适应方法收集具有相似句子特征的数据点。领域共享知识是从桥梁附近的这些集合点学习到的领域不变特征。

progressive domain adaptation Knowledge Distillation (KD) approach – PDALN
三个组成部分：（1）自适应数据增强技术，通过跨域锚对【1】来增强混合域训练数据（这些增强数据被定义为自适应数据），它同时缓解了跨域间隙和目标域标签稀疏性的问题；（2） 多层次领域不变特征，源自多粒度MMD（最大平均差异）方法，这些学习到的领域不变特征缓解了单词层面和话语层面的差异，以实现跨领域的知识转移；（3）用序列KD来学习学生模型，可以避免过拟合且提高模型对领域不变特征的置信度，其逐渐使强大的预训练语言模型能够执行领域自适应。

【1】跨域锚对是来自不同域（源域&目标域）但标签相同的两个实体。用目标域中的实体替换该源域的实体，则得到一个增广的自适应数据。

详见：https://blog.csdn.net/qq_45949611/article/details/129816247

Aspect-Opinion Correlation Aware and Knowledge-Expansion Few Shot Cross-Domain Sentiment Classification

在这里插入图片描述

第一阶段，称为 aspect-opinion 相关性感知图特征学习，基于ConceptNet构建了一个aspect-opinion相关性感知知识图，利用知识图进行两个自监督任务（即关系分类任务和情感对齐任务）对图特征编码器（GCN自动编码器）进行预训练，旨在学习知识图的图结构特征。

在第2阶段，称为基于知识扩展的小样本学习，融合图结构特征（由阶段1中的GCN编码器提取）和文本语义特征（由第2阶段中的域适配编码器（预训练的BERT编码器）获得），以进行小样本情感分类。

详见：https://blog.csdn.net/qq_45949611/article/details/129821627

Exploiting domain-slot related keywords description for Few-Shot Cross-Domain Dialogue State Tracking

本文提出Domain-slot Related Information Awareness（DRIA），该方法基于领域槽相关关键词提取模块和随机抽样策略。具体来说，对于提取模块，我们首先使用TF-IDF算法和CoreNLP POS标记工具提取对话中的几个动词和名词作为关键词，然后将它们整合到我们的描述中。我们认为，名词和动词在对话中总是暗示主题或领域槽的相关信息。此外，随机采样策略是为了解决描述过于简单的问题而设计的。

我们的贡献总结如下：
（1）我们提出了一个有效的框架来构建与领域槽相关的关键词描述。
（2）我们设计了一种随机抽样训练策略，在训练过程中集成丰富的域槽相关信息，旨在提高泛化能力。

详见：https://blog.csdn.net/qq_45949611/article/details/129826400