无监督-对比学习
文章平均质量分 92
nopSled
一周一更
展开
-
Adversarial Contrastive Estimation翻译
通过对比正负例样本进行学习是许多方法采用的通用策略。对知识图谱中单词嵌入和翻译嵌入采用噪声对比估计(NCE)就是NLP中应用此方法的一个例子。在这项工作中,我们将对比学习视为所有此类方法的抽象,并将负例采样器增强为包含对抗学习采样器的混合分布。由此产生的自适应采样器能发现更难的负例,这迫使模型学习数据的更好表示。我们在单词嵌入,顺序嵌入和知识图嵌入的学习上评估了所提出的方法,并观察到该方法带来更快的收敛性,同时改善了多个指标。许多模型通过对比损失,在观测到的正例中与一些虚拟的负例进行来学习,试图降低正例的分翻译 2022-06-17 15:56:50 · 141 阅读 · 0 评论 -
Self-Guided Contrastive Learning for BERT Sentence Representations翻译
摘要翻译 2022-04-12 13:13:46 · 402 阅读 · 0 评论 -
ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer翻译
摘要学习高质量句子表示有益于各种自然语言处理任务。虽然基于BERT的预训练语言模型在许多下游任务上实现了较高性能,但由于其所产生的句子表示被证明是崩塌的,因此在语义文本相似度(STS)任务上产生了较差的性能。在本文中,我们提出了ConSERT,a Contrastive Framework for Self-Supervised SEntence Representation Transfe,采用无监督和有效的方式来微调BERT以进行对比学习。通过利用未标注的文本,ConSERT解决了BERT计算句子表示翻译 2021-10-22 14:09:44 · 1128 阅读 · 0 评论 -
SimCSE: Simple Contrastive Learning of Sentence Embeddings翻译
摘要翻译 2021-05-21 11:39:50 · 967 阅读 · 0 评论 -
ERICA: Improving Entity and Relation Understanding for PLM via Contrastive Learning翻译
摘要预训练语言模型(PLM)在各种下游自然语言处理(NLP)任务上表现出卓越的性能。然而,传统的预训练目标没有显示地建模文本中的实体和关系,而实体关系对于文本理解至关重要。为了解决这个问题,我们提出了一种新的对比学习框架ERICA,以获得对文本中实体及关系的深刻理解。具体而言,我们定义了两种新的预训练任务,以更好地学习实体和关系:(1)实体判别任务,通过给定的头实体来区别哪个尾实体能够被推断出来; (2)关系判别任务,以区分两个关系是否相似,这涉及复杂的关系推理。实验结果表明,ERICA可以在几种语言理解翻译 2021-08-24 14:39:13 · 238 阅读 · 0 评论 -
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations翻译
摘要句子嵌入是许多自然语言处理(NLP)系统的重要组成部分。与词嵌入一样,句子嵌入通常是在大型文本语料库上学习,然后再迁移到各种下游任务,例如聚类和检索。与词嵌入不同的是,目前用于学习句子嵌入的最好的解决方案需要有标注的数据,这限制其在不同语言和领域上的实用性。在本文中,我们提出了DeCLUTR:Deep Contrastive Learning for Unsupervised Textual Representations。该灵感来自最近的深度度量学习(DML)的进步,我们仔细设计了用于学习的自监督目翻译 2021-07-30 15:53:46 · 851 阅读 · 0 评论 -
Representation Learning with Contrastive Predictive Coding翻译
摘要尽管有监督的学习已在许多应用中取得了长足的进步,但无监督的学习尚未得到如此广泛的采用,并且仍然是人工智能中重要且具有挑战性的努力。在这项工作中,我们提出了一种通用的无监督学习方法,可以从高维数据中提取有用的表示,我们将其称为“对比预测编码”。我们模型的关键是通过使用强大的自回归模型来预测潜在空间中的未来,从而学习此类表示形式。我们使用了一种概率的对比损失,这种损失会使潜在空间捕获对预测未来样本最有用的信息。通过使用负采样,这也使模型易于处理。尽管大多数先前的工作都集中在评估特定形式的表示形式上,但我们翻译 2021-05-24 14:51:52 · 338 阅读 · 0 评论