simcse实践使用

最新推荐文章于 2024-07-04 11:22:15 发布
最新推荐文章于 2024-07-04 11:22:15 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 小罗学习NLP 文章标签： 深度学习 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/programerchen/article/details/122675257
版权

实践目标：

跑通simcse，看看和传统bert比，是否表征能力更强，是否相似句的相似度更高，非相似句的相似度更低。

github地址：

https://github.com/princeton-nlp/SimCSE

跑代码踩坑记录：

1. couldn‘t reach http://raw.githubusercontent.com/huggingface/...

原因，因为这个huggingface的代码，跑的过程中需要在线download一些数据和代码，而这些代码是需要vpn的，所以必须开vpn全局模式，而且时灵时不灵。或者你就在gpu服务器访问，例如mistgpu

2. No such file or directory: './SentEval/data/downstream/STS/STSBenchmark/sts-train.csv'

需要手动下载数据集参考：./SentEval/data/download/download_dataset.sh

它会在每次跑验证集的时候，跑一轮huggingface设置的验证集，包括：

 

怎么取消这种验证方式目前尚不清楚

3. 数据集

分为有监督和无监督

参考：

./data/download_nli.sh和./data/download_wiki.sh

4. 跑通

直接跑还有个问题，就是每次走5 fold cross validation 所以比较慢

5. 实验效果

programerchen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SimCSE nlp 对比学习句向量相似语义
weixin_42357472的博客
06-07 2192
参考： https://github.com/princeton-nlp/SimCSE https://github.com/bojone/SimCSE/blob/main/utils.py 提前下载数据 Google官方的两个BERT模型： BERT：chinese_L-12_H-768_A-12.zip RoBERTa：chinese_roberta_wwm_ext_L-12_H-768_A-12.zip 关于语义相似度数据集，可以从数据集对应的链接自行下载，也可以从作者提供的百度云链接下载。
SimCSE: 简单而强大的预训练文本相似度模型
gitblog_00053的博客
04-03 1116
SimCSE: 简单而强大的预训练文本相似度模型 项目地址:https://gitcode.com/bojone/SimCSE 项目简介 在自然语言处理领域，SimCSE（Similarity Contrastive Estimation）是一个由Bojone开发的Python库，它实现了对比学习的方法用于构建文本相似度模型。项目链接为：https://gitcode.com/bojone/Sim...
SimCSE初步使用且和Bert的简单对比
Fitz的博客
03-24 5427
SimCSE初步使用且和Bert的简单对比 在很多 NLP 任务中都会用到句子向量，例如文本检索、文本粗排、语义匹配等任务。现在有不少基于 Bert 的方式获取句子向量，例如 Bert-flow 和 Bert-whitening 等，这些方法会对预训练 Bert 的输出进行变换从而得到更好的句子向量。本文介绍 SimCSE，SimCSE 通过对比学习的方法训练模型，取得 SOTA 的效果。 模型下载 huggingface这个网站真的是太棒了。提供了封装好后的SimCSE。其实SimCSE也是在Bert
无监督对比学习SIMCSE理解和中文实验操作
热门推荐
HUSTHY的博客
09-09 1万+
一、SIMCSE原理理解 论文的背景、核心思想、如何构建正样本对——为何这样就能构造一个很好的样本对(bert模型中dropout的理解)、损失函数的理解，错误负样本对结果的影响，有没有好的方法构建一批两两之间都是负样本的数据集，会不会提高SIMCSE的效果？ 二、文本相似度实验对比 可以把bert原生不微调的对比结果、微调后的； 有监督的sentence-bert后然后再采用simce对比一下效果。 ...
【自然语言处理】【对比学习】SimCSE：基于对比学习的句向量表示
bqw的博客
06-14 5418
一、简介 学习通用句嵌入向量是一个NLP的基础问题。本文通过对比学习的方式实现了SOTA句嵌入向量。具体来说，论文提出了称为SimCSE(Simple Contrastive Sentence Embedding Framework)\text{SimCSE(Simple Contrastive Sentence Embedding Framework)}SimCSE(Simple Contrastive Sentence Embedd
文本语义表征(Sentence-Bert、Simcse)的应用和实践
qq_40176087的博客
06-26 5007
文本语义表征(Sentence-Bert、Simcse)的应用和实践
手把手！基于领域预训练和对比学习SimCSE的语义检索（附源码）
Kaiyuan_sjtu的博客
12-27 4061
之前看到有同学问，希望看一些偏实践，特别是带源码的那种，安排！今天就手把手带大家完成一个基于领域预训练和对比学习SimCSE的语义检索小系统。所谓语义检索（也称基于向量的检索），是指检索系...
simCSE simCSE
07-15
SimCSE，全称为"Similarity through Contextualized Sentence Embeddings"，是自然语言处理（NLP）领域中的一种技术，主要用于学习句子的语义表示。该技术由Gao等人在2020年提出，它利用预训练的语言模型如BERT、GPT...
simcse SIMCSE pytorch 源码 文本分类 文本匹配 直接运行
04-21
在标题和描述中提到的"simcse SIMCSE pytorch 源码"，指的是该压缩包包含了一个使用PyTorch实现的SIMCSE模型的源代码。PyTorch是Facebook开源的一个深度学习框架，以其灵活和易用性而受到开发者们的喜爱。这个源代码...
SimCSE-SentEval-Data.zip
06-29
SimCSE-SentEval-Data这个压缩包文件便是这一领域的典型代表，它为研究者提供了一个丰富的资源库，用于探索和实践对比学习在语义相似性评估中的应用。 SimCSE（Simple Contrastive Explanations）是一种基于对比...
分别基于BERT、SentenceBERT、SimCSE算法的文本相似度识别评测python源码+使用说明.zip
12-28
分别基于BERT、SentenceBERT、SimCSE算法的文本相似度识别评测python源码+使用说明.zip 本地运行 安装依赖 ``` pip install -r requirements.txt ``` BERT评测 ``` python eval_bert.py ``` SentenceBERT评测 `...
中文数据集下SimCSE+ESimCSE的实现.zip
10-19
中文数据集下SimCSE+ESimCSE的实现.zip
SimCSE论文及源码解读
Swift's Blog
05-02 2567
对比学习的思想是拉近同类样本的距离，增大不同类样本的距离，目标是要从样本中学习到一个好的语义表示空间。SimCSE是一种简单的无监督对比学习框架，它通过对同一句子两次Dropout得到一对正样例，将该句子与同一个batch内的其它句子作为一对负样例。模型结构如下所示： 损失函数为： ℓi=−log⁡esim⁡(hizi,hizi′)/τ∑j=1Nesim⁡(hizi,hjzj′)/τ \ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{
simcse实战再思考
Fitz的博客
04-14 1375
simcse实战再思考 最近使用simcse在自己的关键词抽取任务上实战，得到一些新的感悟和问题，暂时记录如下 前言 众所周知，直接用BERT句向量做无监督语义相似度计算效果会很差，任意两个句子的BERT句向量的相似度都相当高，其中一个原因是向量分布的非线性和奇异性，前不久的BERT-flow通过normalizing flow将向量分布映射到规整的高斯分布上，更近一点的BERT-whitening对向量分布做了PCA降维消除冗余信息，但是标准化流的表达能力太差，而白化操作又没法解决非线性的问题，有更好
PaddleNLP召回模块:SimCSE
人工智能曾小健
05-30 969
2.2.2 召回模块 召回模块需要从千万量级数据中快速召回候选数据。首先需要抽取语料库中文本的 Embedding，然后借助向量搜索引擎实现高效 ANN，从而实现候选集召回。 我们针对不同的数据情况推出三种语义索引方案，如下图所示，您可以参照此方案，快速建立语义索引： ⭐️无监督数据 ⭐️有监督数据 召回方案 多 无 SimCSE 无 多 In-batch Negatives 有 有 SimCSE+ In-batch Negatives ..
SimCSE论文精读
lc_love_ty的博客
06-11 1999
「句向量表征技术」一直都是NLP领域的热门话题，在BERT前时代，一般都采用word2vec训练出的word-embedding结合pooling策略进行句向量表征，或者在有训练数据情况下，采用TextCNN/BiLSTM结合Siamese network策略进行句向量表征。...
【模型复现】无监督文本匹配模型——SimCSE快速复现
m0_60673947的博客
05-17 1725
SimCSE 模型 快速复现教程 01 模型详情 模型简介： SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 关键词：无监督 应用场景：文本匹配 结构： 论文地址： https://arxiv.org/abs/2104.0882..
SimCSE使用笔记
AlphaFinance
05-26 1625
需要在控制台手动安装simcse：pip install simcse==0.4 -i https://mirrors.aliyun.com/pypi/simple/
理解注意力机制与多头注意力：深度学习中的“聚焦术”
最新发布
qlkaicx的博客
07-04 484
注意力机制最初是受人类视觉注意力启发的一种技术，用于增强神经网络对输入数据中重要部分的敏感性。简单来说，注意力机制允许模型动态地调整内部资源的分配，对重要的输入信息给予更多的关注，而忽略不相关的信息。核心思想在深度学习中，注意力机制通常通过为不同的输入部分分配不同的“权重”实现，这些权重决定了各部分在模型学习过程中的重要性。例如，在处理一个句子时，模型可能会更加关注对当前任务更重要的词语，如关键动词或名词，而非填充词。
simcse conda
04-24
SimCSE（Sentence-level Contrastive Learning for Sentence Embeddings）是一种用于句子嵌入学习的对比学习方法。它通过将相似的句子嵌入向量在嵌入空间中拉近，将不相似的句子嵌入向量在嵌入空间中推远，从而实现句子语义的表示和相似度计算。 SimCSE的实现可以使用conda进行环境管理。conda是一个开源的包管理系统和环境管理系统，可以用于创建、部署和管理不同的软件环境。使用conda可以方便地创建一个独立的Python环境，并安装SimCSE所需的依赖库。 要使用conda创建SimCSE的环境，可以按照以下步骤操作： 1. 安装conda：首先需要安装conda，可以从Anaconda官网下载对应操作系统的安装包，并按照官方文档进行安装。 2. 创建环境：打开终端或命令提示符，运行以下命令创建一个新的环境： ``` conda create -n simcse_env python=3.7 ``` 这将创建一个名为simcse_env的环境，并指定Python版本为3.7。 3. 激活环境：创建环境后，需要激活该环境才能使用。运行以下命令激活环境： - Windows: ``` conda activate simcse_env ``` - Linux/Mac: ``` source activate simcse_env ``` 4. 安装依赖库：激活环境后，可以使用conda或pip安装SimCSE所需的依赖库。例如，可以运行以下命令使用conda安装torch和transformers库： ``` conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch conda install -c huggingface transformers ``` 或者使用pip安装： ``` pip install torch torchvision torchaudio pip install transformers ``` 5. 安装SimCSE：在激活的环境中，可以使用git克隆SimCSE的代码库，并进行安装： ``` git clone https://github.com/princeton-nlp/SimCSE.git cd SimCSE pip install -r requirements.txt ``` 完成以上步骤后，就可以在SimCSE的环境中运行代码了。记得在使用SimCSE之前，需要下载预训练的模型权重和数据集，并按照SimCSE的文档进行配置和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值