Sentence-BERT(SBERT)配置环境

最新推荐文章于 2024-06-06 17:01:05 发布
最新推荐文章于 2024-06-06 17:01:05 发布
阅读量999 收藏 5
点赞数 1
文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49691652/article/details/124995208
版权
本文档详细介绍了在Windows环境下，使用Anaconda创建虚拟环境并配置Sentence-BERT（SBERT）的步骤。首先，需要创建虚拟环境，并确保安装成功。接着，通过conda安装transformers，然后按照官方教程安装sentence-transformers。在安装过程中可能会遇到`Cannot uninstall regex`的错误，解决方法是删除特定路径下的wrapt.egg-info文件。成功安装后，SBERT环境配置完成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这是官方指南

SentenceTransformers Documentation — Sentence-Transformers documentation

源码GitHub - UKPLab/sentence-transformers: Multilingual Sentence & Image Embeddings with BERT

论文链接

https://arxiv.org/pdf/1908.10084.pdf

本人是一个nlp小白，刚刚入门。在这篇文章写一下复现这篇文章的过程以及遇到的坑。

1.创建一个虚拟环境

windows环境下，“以管理员身份运行”anaconda（保险起见，以防出现权限不足的情况），输入以下命令

conda create -n sbert python=3.6

可以使用conda env list查看是否创建成功

2.安装相应的包

重试了好几次，我推荐先安装transformer，

最低0.47元/天 解锁文章
TTtianTT_
关注
大型语言模型：SBERT — Sentence-BERT
gongdiwudu的专栏
12-19 5421
Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。
Sentence-BERT模型的句子级语义相似
最新发布
寻梦友的博客
02-23 93
在很多专业场景下，传统的搜索引擎不能满足客户灵活性问题的“解答”。深入理解客户问题的语义信息，是传统搜索需要解决的一大难题。在一些应用场景中，当用户不知道搜索什么内容时，或者输入相应内容希望得到结果，这时候普通ES索引是不太精准了，因为它不理解用户的语义。例如：“苹果公司发布了新款手机” 和 “苹果推出了新的移动设备”、“如何制作蛋糕”和“蛋糕的制作方法”等等，这些问题在词语上相近较少，但语义上相似度极高。如何去解决上面的问题？--------S-BERT模型实现句子级语义信息表达。
BERT源码剖析
truth_01的博客
09-09 1078
今天要介绍的是BERT最主要的模型实现部分-----BertModel，代码位于 modeling.py模块 如有解读不正确，请务必指出~ 1、配置类（BertConfig） 这部分代码主要定义了BERT模型的一些默认参数，另外包括了一些文件处理函数。 class BertConfig(object): """BERT模型的配置类.""" def __init__(self, ...
Sentence-BERT实战
热门推荐
日积月累，天道酬勤
09-24 1万+
本文主要介绍了SBERT作者提供的官方模块的使用实战。
sentence-transformers:BERT和XLNet的句子嵌入
03-17
句子转换器：使用BERT / RoBERTa / XLM-RoBERTa＆Co.和PyTorch的多语言句子嵌入 该框架提供了一种简单的方法来计算句子和段落的密集向量表示形式（也称为句子嵌入）。 这些模型基于诸如BERT / RoBERTa / XLM-RoBERTa等的转换器网络，并经过专门调整以有意义的句子嵌入，以使具有相似含义的句子在向量空间中接近。 我们为100多种语言提供了越来越多的，并针对各种用例进行了微调。 此外，该框架允许轻松，以在您的特定任务上实现最佳性能。 有关完整文档，请访问以及我们的出版物： （EMNLP 2019） （EMNLP 2020） （arXiv 2020） （arXiv 2020） 安装 我们建议使用Python 3.6或更高版本， 或更高版本以及或更高版本。 该代码不使用Python 2.7的工作。 用pip安装 用pip安装句子转换器
Sentence Transformers: 使用BERT / XLNet进行句子嵌入-python
06-18
Sentence Transformers: 使用BERT / XLNet进行句子嵌入 Sentence Transformers：使用 BERT / RoBERTa / XLM-RoBERTa & Co. 和 PyTorch BERT / RoBERTa / XLM-RoBERTa 的多语言句子嵌入产生开箱即用的相当糟糕的句子嵌入。 该存储库使用 siamese 或三元组网络结构对 BERT / RoBERTa / DistilBERT / ALBERT / XLNet 进行微调，以生成可用于无监督场景的语义有意义的句子嵌入：通过余弦相似性、聚类、语义搜索的语义文本相似性。 我们提供了越来越多的最先进的预训练模型，可用于导出句子嵌入。 请参阅预训练模型。 实施方法的详细信息可以在我们的出版物中找到：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019)。 您可以使用此代码轻松训练您自己的句子嵌入，这些嵌入已针对您的特定任务进行了调整。 我们提供各种数据集阅读器，您可以根
Python-SentenceTransformers使用BERTXLNet进行句子嵌入
08-10
Sentence Transformers: 使用BERT / XLNet进行句子嵌入
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
为了解决这个问题，Nils Reimers和Iryna Gurevych提出了Sentence-BERT（SBERT），这是一种基于预训练BERT网络的改进版本，旨在通过使用Siamese和Triplet网络结构来提取语义上有意义的句子嵌入（embeddings）。...
《基于Sentence-BERT训练自己的文本相似度模型》源代码
08-06
Sentence-BERT(SBERT)网络利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。...
Embedding技术：Sentence-BERT句嵌入模型介绍和实践
2401_85375151的博客
06-04 2439
Sentence-BERT是一种句嵌入表征模型，常用于文本语义相似度的匹配，本篇对Sentence-BERT做理论介绍，并结合领域文本数据进行实践，训练句嵌入实现语义检索。
CORD-19-ANN：ANN使用SBERT搜索COVID CORD-19数据集
01-31
CORD-19-ANN 此仓库包含脚本和模型，可通过或使用嵌入来搜索 。 句子嵌入不是搜索的理想选择（请参阅），但是可以提供基本搜索功能无法提供的数据洞察力。 仍有改进相关文档检索的空间。 我们并不精通医学领域，因此我们强烈建议您以问题/ PR的形式提供任何反馈或改进！ 我们提供了预训练的模型和FAISS索引，可按照以下说明启动您自己的服务器。 最后，我们提供了一个前端，可用于搜索数据集并通过UI提取信息。 可以在找到前端的说明和安装。 我们目前正在gcp实例上托管服务器，如果有人可以为更永久的托管解决方案做出贡献，将不胜感激。 安装 资源 我们假设您已经从安装了PyTorch和必要的CUDA软件包。 我们建议使用Conda来简化安装。 # Install FAISS conda install faiss-cpu -c pytorch # Other instructions can be found at https://github.com/facebookresearch/faiss/blob/master/INSTALL.md git clone https://
bert-japanese:带有SentencePiece的BERT，用于日语文本
05-10
带有SentencePiece的BERT用于日语文本。 这是带有SentencePiece令牌生成器的日语BERT模型的存储库。 要将此存储库与所需的和一起克隆，请： git clone --recurse-submodules https://github.com/yoheikikuta/bert-japanese 预训练模型 我们为日语文本提供了预训练的BERT模型和SentencePiece模型。 训练数据是来自的日本Wikipedia语料库。 请将以下google驱动器中的所有对象下载到model/目录。 训练期间的损失函数如下（在1M步后，损失函数发生了巨大变化，因为max_seq_length从128更改为512 ）： ***** Eval results ***** global_step = 1400000 loss = 1.3773012 mask
SBERT-WK-Sentence-Embedding:纸代号
05-25
SBERT-WK：剖析基于BERT的单词模型的句子嵌入方法 更新01-28-20：将来可能会更改/更新 SBERT-WK提供了一种通过剖析深层上下文化模型来生成句子嵌入的方法。 由于预训练的语言模型在各种NLP任务中都非常强大，因此如何从深度语言模型中生成句子嵌入仍然是一个挑战。 深度模型主要提供单词/令牌级别的表示。 先前的方法包括平均令牌表示形式或使用CLS令牌在文本相似性任务，聚类和受监督任务中提供的性能均较差。 通过几何分析，我们的模型能够找到表示arocss图层和统一令牌表示中的显着成分。 我们评估了我们在各种任务上的方法，并显示了其有效性。 我们的模型适用于任何深度的情境化模型，不需要进一步的培训。 我们的方法的详细信息可以在我们的出版物： 。 部分 描述 如何设置环境 当前的支持架构 快速指南 复制纸的结果 性能比较 使用更多脚本 参考链接 承认 安装 我们正在使用Py
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
garbage回收中心
11-22 1531
BERT和RoBERT模型在进行语义匹配的时候，需要将每个可能的组合都输入到模型中，会带来大量的计算（因为BERT模型对于句子对的输入，使用[SEP]来标记句子间的分隔，然后作为一个句子输入模型）。比如在10000个句子中找到与每个句子最相似的句子对，需要进行5千万次运算，大约65个小时。因此，BERT就不太适合做语义相似查询和一些无监督的任务。解决聚类和语义匹配的常见方法是将每个句子map到一个向量空间，使得语义相似的句子靠得更近。
快速搭建sentence_transformer方法
vincent_duan的专栏
06-06 1152
sentence transformer模型可以将句子进行Embedding。这里使用docker快速构建一个sentence transformer环境，小试牛刀。
sentence Bert解读及代码示例
NLP与推荐算法
12-08 1432
SBERT论文详解并附代码。STS任务
对比学习在语义表征中的应用：SBERT/SimCSE/ConSERT/ESimCSE复现
02-15 3365
本篇博文主要比较目前常用的Sentence Embedding方法，包括双塔模型SBERT，对比学习SimCSE、ConSERT、ESimCSE，这里谈谈论文里的细节，以及本人在中文语料（Chinese-SNLI、Chinese-STS-B）复现后的结果。部分方法在半年前已复现过,但最近研究了sentence_transformers库的源码，发现竟然提供了对比学习的损失函数，在此基础上做二次开发，方便了不少，因此重新改了下代码，做了新的实验，使用用的base model均为macbert base。1.
windows系统下pytorch以及transformers环境配置
qq_18402417的博客
07-24 1580
【代码】windows系统下pytorch以及transformers环境配置。
安装sentence-transformers
RinaWong的博客
02-11 8719
点击此处可访问SBERT官方代码(GitHub) 在安装sentence-transformers之前需要确保以下条件： We recommend Python 3.6 or higher, PyTorch 1.6.0 or higher and transformers v4.6.0 or higher. The code does not work with Python 2.7. 一、安装PyTorch 点击此处可访问PyTorch官网 点击此处可查看PyTorch历史版本安装说明 pip.
Sentence-BERT
07-25
Sentence-BERT（SBERT）是对预训练的BERT网络进行修改的一种方法，通过使用连体和三连体网络结构来推导出具有语义意义的句子嵌入。这使得SBERT能够在一些新任务中应用，这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。相比于BERT/RoBERTa，SBERT在寻找最相似对的任务上的计算时间从65小时减少到约5秒，同时保持了准确度。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入](https://blog.csdn.net/zag666/article/details/128694389)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Sentence-BERT 语句相似性、sentence embeddings](https://blog.csdn.net/zephyr_wang/article/details/119517958)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值