SimCSE详解，Simple Contrastive Learning of Sentence Embeddings

最新推荐文章于 2024-06-05 09:46:26 发布
最新推荐文章于 2024-06-05 09:46:26 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： # nlp：论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33624866/article/details/117672529
版权

简介
contrastive(对比)学校框架，提升句子embedding效果
无监督，句子本身和句子自己带有dropout
使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例
在STS任务上，效果好

介绍
无监督simcse预测句子本身，仅使用dropout作为噪声
换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例对，这两个encoder单独dropout（互不影响，不同的dropout形成不同的embedding）
效果较好
我们分析，dropout实际上是小型的数据增强（多了一些类似表示），去掉这些增强可能导致表示崩塌
有监督的simcse，使用NLI数据集，利用蕴含对和对抗对分别作为正负例，蕴含基本上可以算作正例。增加相关对抗提高效果。对比数据集，NLI效果较好。
在这里插入图片描述

背景
对比学习，拉近邻居，拉远非邻居
在这里插入图片描述
训练目标，当前相似度大，所有相似度小
sim使用cosine相似度，预训练使用bert或者robert，然后用对比学习

无监督simcse
使用不同dropout作为正例，标准的dropout mask而非添加的dropout
对比发现即使删一个词，效果也会下降，没有一个离散性干扰表现得比droput好

监督simcse
x，x+，x-
如果做两个encoder，没有看到两个encoder啊，没有z

训练细节
增加了MLP层在CLS上作为embedding

ws_nlp_
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Young, Simple, Naive
08-06 368
仅使用标准的 dropout 作为噪声
SimCSE: 简单而强大的预训练文本相似度模型
gitblog_00053的博客
04-03 1214
SimCSE: 简单而强大的预训练文本相似度模型 项目地址:https://gitcode.com/bojone/SimCSE 项目简介 在自然语言处理领域，SimCSE（Similarity Contrastive Estimation）是一个由Bojone开发的Python库，它实现了对比学习的方法用于构建文本相似度模型。项目链接为：https://gitcode.com/bojone/Sim...
SIMCSE用与有监督和无监督训练的训练代码模版
最新发布
vivi_cin的博客
06-05 306
SIMCSE（Simple Contrastive Learning of Sentence Embeddings）是一种用于生成句子嵌入的方法，既可以进行有监督训练，也可以进行无监督训练。以下是两个代码模板，分别展示了如何进行有监督和无监督的SIMCSE训练。
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 899
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
SimCSE: Simple Contrastive Learning of Sentence Emb
人工智能曾小健
05-30 348
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
Article Analysis(AA): A Simple Framework for Contrastive Learning of Visual Representations
01-20
A Simple Framework for Contrastive Learning of Visual Representations 作者： Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新...
CONTRASTIVE LEARNING OF STRUCTURED WORLD MODELS
06-02
计算机视觉Github开源论文
Max-Margin Contrastive Learning.pdf
12-22
Max-Margin Contrastive Learning（MMCL）是一种针对对比学习的改进方法，由来自霍普金斯大学、麻省理工学院和三菱电气研究实验室的研究者提出。对比学习在当前的机器学习领域是一个热门的研究方向，其目标是通过无...
Contextualized Spatio-Temporal Contrastive Learning with Self-S
01-02
为了解决这个问题，"Contextualized Spatio-Temporal Contrastive Learning with Self-Supervision" 提出了一种新的框架——情境化时空对比学习（Contextualized Spatio-Temporal Contrastive Learning，简称ConST-...
simcse SIMCSE pytorch 源码 文本分类 文本匹配 直接运行
04-21
simcse SIMCSE pytorch 源码 可以直接在window下运行 有预加载的权重 有训练数据 可以直接运行 可以直接在window下运行 有预加载的权
contrastive-learning:对比学习方法
03-10
对比学习方法支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。有什么可用的？ 使用SimCLR进行对比学习预训练通过停止梯度进行在线线性评估Pytorch闪电登录和默认收益（多GPU训练，混合...
SeCo-Sequence-Contrastive-Learning
05-26
顺序对比学习 这是“ SeCo：探索无监督表示学习的序列监督” [AAAI 2021]的实现。 原始论文可以在上找到。 要求 火炬 火炬视觉 线性 训练 此实现仅支持multi-gpu ， DistributedDataParallel训练，该训练更快，更...
contrastive-learning
03-18
对比学习(Contrastive Learning)是一种机器学习方法，主要用于无监督或自我监督的学习场景，它通过在高维空间中区分不同的样本对来学习表示。在深度学习领域，对比学习已经成为了提升模型在无标签数据上学习能力的...
[论文阅读笔记]Contrastive Boundary Learning for Point Cloud Segment
10-08
论文的作者针对这一问题，提出了一种创新的对比边界学习（Contrastive Boundary Learning, CBL）框架，旨在通过对比学习提升点云边界区域的特征表示，从而提高分割性能。 首先，论文定义了边界点的概念。基于真实...
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
codename_cys的博客
03-06 1507
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS Experiment 2. Downsteam Experiment 4. 讨论 1. loss function考察 2. 其他正例构造方式考察 3. 消解实验 5. 结论 & 思考 文献链接：https://arxiv.org/abs/2104.08821v2 1. 文献内..
【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings
春天
03-10 1402
今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784 Title: SimCSE: Simple Contrastive Learning of Sentence Embeddings From: EMNLP 2021 Link: https://arxiv.org/abs/2104.08821 论文提出了基于对比学习框架的SimCSE，来是提升句向量的嵌入表示。在有监督和无监督的语义相似度任务上取得了SOTA效果。 背景知识 先介
SimCSE: Simple Contrastive Learning of Sentence Embeddings翻译
nopSled
05-21 946
摘要
Contrastive Learning
05-18
Contrastive learning is a type of unsupervised learning that aims to learn useful representations from unlabeled data by maximizing the similarity between similar examples and minimizing the similarity between dissimilar examples. In other words, contrastive learning tries to find a way to represent data in a way that makes similar examples more similar and dissimilar examples less similar. The basic idea is to learn a representation function that maps inputs to a feature space where similar examples are mapped close together and dissimilar examples are far apart. This is typically done by training a neural network to predict whether two augmented versions of the same image or text passage are similar or dissimilar. The network is trained using a contrastive loss function that encourages similar examples to have similar embeddings and dissimilar examples to have different embeddings. Contrastive learning has recently gained a lot of attention in the field of computer vision and natural language processing, and has been shown to be effective for a wide range of tasks, including image and text classification, object detection, and recommendation systems.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值