DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations

最新推荐文章于 2023-03-20 22:43:24 发布
最新推荐文章于 2023-03-20 22:43:24 发布
阅读量260 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/125119545
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
68 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏
DeCLUTR是一种无监督的句子表示学习方法，采用深度对比学习，无需依赖标注数据。该方法受到计算机视觉中深度度量学习的启发，通过最小化相同文档中随机采样文本片段的嵌入距离来学习通用的句子嵌入。实验表明，DeCLUTR在SentEval基准测试中达到了SOTA结果，且模型和数据大小的增加能进一步提升表示质量。该研究为基于Transformer的预训练语言模型提供了新的预训练目标，并开源了代码。
摘要由CSDN通过智能技术生成

Abstract

  • DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
    • 用来学习通用 sentence embeddings 的自监督目标，不依赖于标注数据.
  • 灵感来自于近期 deep metric learning (DML) 领域的进展
  • 缩小了无监督方法和有监督方法之间的 gap
  • 效果随着参数的增加和无标签训练数据的增加而提升
  • 代码及模型：https://github.com/JohnGiorgi/DeCLUTR

1 Introduction

sentence embedding:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
专栏目录
订阅专栏
NLP论文共读计划
Young, Simple, Naive
07-15 735
NLP 之路
论文浅尝 | DeCLUTR: 无监督文本表示的深度对比学习
开放知识图谱
10-04 2748
Giorgi, J. M., O. Nitski, G. D. Bader and B. Wang (2020). "DeCLUTR: Deep Contrastive Lear...
【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》
dongguanting的博客
03-23 3977
【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》阅读笔记 英文标题：DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations 中文翻译：DeCLUTR：无监督文本表示的深度对比学习 原文链接: https://arxiv.org/pdf/2006.03659.pdf 文章目录Abstra
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations翻译
nopSled
07-30 850
摘要 句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常是在大型文本语料库上学习，然后再迁移到各种下游任务，例如聚类和检索。与词嵌入不同的是，目前用于学习句子嵌入的最好的解决方案需要有标注的数据，这限制其在不同语言和领域上的实用性。在本文中，我们提出了DeCLUTR：Deep Contrastive Learning for Unsupervised Textual Representations。该灵感来自最近的深度度量学习（DML）的进步，我们仔细设计了用于学习的自监督目
顶会中的对比学习论文-2
Hekena的博客
03-20 467
对比方法：互补的mask方法，将一个输入进行多次mask，第一次的mask的比例是, 第二次mask的时候只针对第一次mask中没被选择的token以的比例进行mask,所以两个句子被mask的部分是互补的，第三次以此类推。文中对比的是：BERT的中间层表示和最后的CLS的表示。本文主要针对的是无监督OOD进行训练，策略是先用有监督对比学习在IND数据上训练，然后用cross-entropy损失对分类器fine-tune，有监督对比学习的目标是拉近IND中属于拉近同一类别的意图，推远不同类别的意图。
【ACL 2021】《 Defending Pre-trained Language Models from Adversarial Word Substitution Without Perform
dongguanting的博客
07-17 725
【ACL 2021】《 Defending Pre-trained Language Models from Adversarial Word Substitution Without Performance Sacrifice》阅读笔记 英文标题：Defending Pre-trained Language Models from Adversarial Word Substitution Without Performance Sacrifice Representations 中文翻译：在对抗性的替换
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification
qq_43006725的博客
07-06 358
1.引入 行人重识别中无监督学习：从源域有标签数据中学习到关于行人视图不变信息的特征表示，然后将模型转移、并且使之适用到无标签数据的目标域中。 大多数现有的人员重新识别（re-id）方法都需要从每个摄像机对的一大套成对标记的训练数据的单独大集合中进行监督模型学习。 由于需要跨许多摄像机视图执行重新识别，这极大地限制了它们在现实世界大规模部署中的可扩展性和可用性。 为了解决此可伸缩性（scalability）问题，作者提出了一种新颖的深度学习方法，将现有数据集的标记信息转移到一个新的看不见（未标记）的目标上，
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2287
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
自然语言处理学习——基于对比自监督学习的语言模型设计和改进*
m0_37876745的博客
01-13 1887
基于对比自监督学习的语言模型设计和改进* 摘要：最近几年见证了自然语言处理特别是表示学习的预训练模型的蓬勃发展，基于对比学习的自监督模型是其中最火的一种。BERT是近几年来在多种语言处理任务上取得了突出成就，但是它在需要处理句子的任务（例如聚类或语义搜索）效率低下，因为它需要组合地评估许多句子对，这非常耗时。 而Sentence -BERT（SBERT）试图通过学习单个句子的语义表示来解决这一难题，以便可以轻松地访问相似性比较。但是，SBERT接受了带有高质量标记语句对的Corpus培训，这限制了其在标.
我分析了ACL21论文列表，发现对比学习已经...
zenRRan的博客
07-27 402
点击下面卡片，关注我呀，每天给你送来AI技术干货！文 | 花小花Posy来自 | 夕小瑶的卖萌屋最近关注对比学习，所以ACL21的论文列表出来后，小花就搜罗了一波，好奇NLPers们都用对...
ACL 2021｜美团提出基于对比学习的文本表示模型，效果相比BERT-flow提升8%
美团技术团队
06-04 2631
尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文本语义匹配。为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配（STS）任务的实验结果显示，同等设置下ConSERT相比此前的SOTA大幅提升了8%，并且在少样本场景下.
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 6997
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
使用NLTK将自然语言查询转化为SQL查询
Young, Simple, Naive
11-21 6190
文章目录 假设我们有一个sql表，如下所示： City Country Population athens greece 1368 bangkok thailand 1178 barcelona spain 1280 berlin east_germany 3481 birmingham united_kingdom 1112 当我们要查找某个athens在哪个...
使用BPE算法处理未登录词
Young, Simple, Naive
11-25 5527
BPE算法的输入是原始字典，其中每个单词被表示成一串字符，BPE算法迭代的执行k次，每次选择一个出现频率最高的符号对进行合并，生成一个新的符号，注意这种合并是不超过单词边界的。 例如原始词典中有张晨光和张晨磊两个单词，频数均为3，但是没有出现张晨 张晨光:3 张晨磊:3 所以我们在使用最大匹配算法进行分词时，如果使用该字典，就会造成张晨被错误分割为张和晨两个词的情况： max match cut...
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
最新发布
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值