simcse实践使用

最新推荐文章于 2024-06-09 09:44:02 发布
最新推荐文章于 2024-06-09 09:44:02 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 小罗学习NLP 文章标签： 深度学习 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/programerchen/article/details/122675257
版权

实践目标：

跑通simcse，看看和传统bert比，是否表征能力更强，是否相似句的相似度更高，非相似句的相似度更低。

github地址：

https://github.com/princeton-nlp/SimCSE

跑代码踩坑记录：

1. couldn‘t reach http://raw.githubusercontent.com/huggingface/...

原因，因为这个huggingface的代码，跑的过程中需要在线download一些数据和代码，而这些代码是需要vpn的，所以必须开vpn全局模式，而且时灵时不灵。或者你就在gpu服务器访问，例如mistgpu

2. No such file or directory: './SentEval/data/downstream/STS/STSBenchmark/sts-train.csv'

需要手动下载数据集参考：./SentEval/data/download/download_dataset.sh

它会在每次跑验证集的时候，跑一轮huggingface设置的验证集，包括：

 

怎么取消这种验证方式目前尚不清楚

3. 数据集

分为有监督和无监督

参考：

./data/download_nli.sh和./data/download_wiki.sh

4. 跑通

直接跑还有个问题，就是每次走5 fold cross validation 所以比较慢

5. 实验效果

programerchen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SimCSE使用笔记
AlphaFinance
05-26 1634
需要在控制台手动安装simcse：pip install simcse==0.4 -i https://mirrors.aliyun.com/pypi/simple/
SimCSE初步使用且和Bert的简单对比
Fitz的博客
03-24 5473
SimCSE初步使用且和Bert的简单对比 在很多 NLP 任务中都会用到句子向量，例如文本检索、文本粗排、语义匹配等任务。现在有不少基于 Bert 的方式获取句子向量，例如 Bert-flow 和 Bert-whitening 等，这些方法会对预训练 Bert 的输出进行变换从而得到更好的句子向量。本文介绍 SimCSE，SimCSE 通过对比学习的方法训练模型，取得 SOTA 的效果。 模型下载 huggingface这个网站真的是太棒了。提供了封装好后的SimCSE。其实SimCSE也是在Bert
探索文本相似度的新境界：SimCSE中文开源实现解析
最新发布
gitblog_00062的博客
06-09 932
探索文本相似度的新境界：SimCSE中文开源实现解析 项目地址:https://gitcode.com/shuxinyin/SimCSE-Pytorch 在这个信息爆炸的时代，如何高效地理解和处理大量的文本数据成为了一大挑战。今天，我们要向大家隆重推介一个开源项目——SimCSE的中文实现版本，它不仅是一个强大的工具包，更是自然语言处理（NLP）领域的一颗璀璨明星。 项目介绍 SimCSE，全称为...
simCSE simCSE
07-15
simCSEsimCSEsimCSEsimCSEsimCSE
[EMNLP 2021] SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_42170839的博客
01-24 1409
无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负例。
无监督对比学习SIMCSE理解和中文实验操作
热门推荐
HUSTHY的博客
09-09 1万+
一、SIMCSE原理理解 论文的背景、核心思想、如何构建正样本对——为何这样就能构造一个很好的样本对(bert模型中dropout的理解)、损失函数的理解，错误负样本对结果的影响，有没有好的方法构建一批两两之间都是负样本的数据集，会不会提高SIMCSE的效果？ 二、文本相似度实验对比 可以把bert原生不微调的对比结果、微调后的； 有监督的sentence-bert后然后再采用simce对比一下效果。 ...
simcse SIMCSE pytorch 源码 文本分类 文本匹配 直接运行
04-21
在标题和描述中提到的"simcse SIMCSE pytorch 源码"，指的是该压缩包包含了一个使用PyTorch实现的SIMCSE模型的源代码。PyTorch是Facebook开源的一个深度学习框架，以其灵活和易用性而受到开发者们的喜爱。这个源代码...
SimCSE-SentEval-Data.zip
06-29
SimCSE-SentEval-Data这个压缩包文件便是这一领域的典型代表，它为研究者提供了一个丰富的资源库，用于探索和实践对比学习在语义相似性评估中的应用。 SimCSE（Simple Contrastive Explanations）是一种基于对比...
分别基于BERT、SentenceBERT、SimCSE算法的文本相似度识别评测python源码+使用说明.zip
12-28
分别基于BERT、SentenceBERT、SimCSE算法的文本相似度识别评测python源码+使用说明.zip 本地运行 安装依赖 ``` pip install -r requirements.txt ``` BERT评测 ``` python eval_bert.py ``` SentenceBERT评测 `...
中文数据集下SimCSE+ESimCSE的实现.zip
10-19
中文数据集下SimCSE+ESimCSE的实现.zip
Paper Reading 《SimCSE》
SUFEHeisenberg的博客
04-27 648
Paper Reading: SimCSE SimCSE: Simple Contrastive Learning of Sentence Embeddings 尚未发表。Github. Paper. 1. 什么是对比学习及度量标准 1.1 概念 无监督学习两种思路：1. 生成式学习。i.e. GAN, VAE 2. 对比式学习 核心是构建正负样本集合，学习同正样本之间的共同特征（拉进二者距离），区分负样本（拉远距离）。 举个栗子： Loss的负对数和里面是正样本对的softmax值，min Loss
SimCSE学习
hxshine的博客
06-21 5382
0. 参考 中文任务还是SOTA吗？我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348 simcse在英文数据上显著超过了bert-flow和bert-whitening SimCSE—简单有效的对比学习：https://zhuanlan.zhihu.com/p/375659368 1. 概述 2. 什么是SimCse 2.1 无监督的训练方法 一个句子，encoder得到embedding，通过dropout得到的embedding作为正例，其他的句子得到
SimCSE: Simple Contrastive Learning of Sentence Emb
人工智能曾小健
05-30 349
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 276
SIMCSE
【模型复现】无监督文本匹配模型——SimCSE快速复现
m0_60673947的博客
05-17 1738
SimCSE 模型 快速复现教程 01 模型详情 模型简介： SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 关键词：无监督 应用场景：文本匹配 结构： 论文地址： https://arxiv.org/abs/2104.0882..
SimCSE论文阅读
银晗的学习博客
12-04 1454
温度系数的作用是调节对困难样本的关注程度：越小的温度系数越关注于将本样本和最相似的困难样本分开，去得到更均匀的表示。在无监督无标注的情况下，这样的伪负例，其实是不可避免的，首先可以想到的方式是去扩大语料库，去加大batch size，以降低batch训练中采样到伪负例的概率，减少它的影响。可以把不同的负样本想像成同极点电荷在不同距离处的受力情况，距离越近的点电荷受到的库伦斥力更大，而距离越远的点电荷受到的斥力越小。对比损失中，越近的负例受到的斥力越大，具体的表现就是对应的负梯度值越大[4]。
文本匹配之SimCSE模型
dzysunshine的博客
04-29 9438
目录 前言 模型结构 模型原理 模型训练 特别说明 模型效果 参考 前言 论文全名：SimCSE: Simple Contrastive Learning of Sentence Embeddings 论文地址：https://aclanthology.org/2021.emnlp-main.552.pdf 论文收录于EMNLP2021。 论文提供的代码（pytorch）：GitHub - princeton-nlp/SimCSE: EMNLP'2021: SimCSE: Sim..
SimCSE：用于句子嵌入的对比学习
白景屹的博客
12-23 1645
目录引言对比学习Contrastive LearningSimCSE思想无监督下的SimCSE有监督下的SimCSE连接各向异性Connection to Anisotropy分析 引言 SimCSE来自论文：SimCSE: Simple Contrastive Learning of Sentence Embeddings，将对比学习思想引入了sentence embedding，并超过了同年很多无监督或有监督的语义相似度计算任务的表现。 学习自然语言的通用语义表示一直是NLP的基础任务之一，当2019年
SimCSE论文精读
lc_love_ty的博客
06-11 2043
「句向量表征技术」一直都是NLP领域的热门话题，在BERT前时代，一般都采用word2vec训练出的word-embedding结合pooling策略进行句向量表征，或者在有训练数据情况下，采用TextCNN/BiLSTM结合Siamese network策略进行句向量表征。...
simcse conda
04-24
SimCSE（Sentence-level Contrastive Learning for Sentence Embeddings）是一种用于句子嵌入学习的对比学习方法。它通过将相似的句子嵌入向量在嵌入空间中拉近，将不相似的句子嵌入向量在嵌入空间中推远，从而实现句子语义的表示和相似度计算。 SimCSE的实现可以使用conda进行环境管理。conda是一个开源的包管理系统和环境管理系统，可以用于创建、部署和管理不同的软件环境。使用conda可以方便地创建一个独立的Python环境，并安装SimCSE所需的依赖库。 要使用conda创建SimCSE的环境，可以按照以下步骤操作： 1. 安装conda：首先需要安装conda，可以从Anaconda官网下载对应操作系统的安装包，并按照官方文档进行安装。 2. 创建环境：打开终端或命令提示符，运行以下命令创建一个新的环境： ``` conda create -n simcse_env python=3.7 ``` 这将创建一个名为simcse_env的环境，并指定Python版本为3.7。 3. 激活环境：创建环境后，需要激活该环境才能使用。运行以下命令激活环境： - Windows: ``` conda activate simcse_env ``` - Linux/Mac: ``` source activate simcse_env ``` 4. 安装依赖库：激活环境后，可以使用conda或pip安装SimCSE所需的依赖库。例如，可以运行以下命令使用conda安装torch和transformers库： ``` conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch conda install -c huggingface transformers ``` 或者使用pip安装： ``` pip install torch torchvision torchaudio pip install transformers ``` 5. 安装SimCSE：在激活的环境中，可以使用git克隆SimCSE的代码库，并进行安装： ``` git clone https://github.com/princeton-nlp/SimCSE.git cd SimCSE pip install -r requirements.txt ``` 完成以上步骤后，就可以在SimCSE的环境中运行代码了。记得在使用SimCSE之前，需要下载预训练的模型权重和数据集，并按照SimCSE的文档进行配置和使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值