sentence-bert_pytorch语义文本相似度算法模型

于 2024-09-01 06:30:00 发布
阅读量781 收藏 7
点赞数 30
分类专栏： 人工智能&深度学习&机器学习 文章标签： bert pytorch 人工智能 语义文本相似度 模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/141391294
版权

目录

Sentence-BERT

论文

模型结构

算法原理

环境配置

Docker（方法一）

Dockerfile（方法二）

Anaconda（方法三）

数据集

训练

单机多卡

单机单卡

推理

result

精度

应用场景

算法类别

热点应用行业

源码仓库及问题反馈

参考资料

Sentence-BERT

论文

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

模型结构

一种对预训练BERT网络的改进，它使用连体和三重网络结构来获得语义上有意义的句子嵌入，可以使用余弦相似度进行比较。

算法原理

对于每个句子对，通过网络传递句子A和句子B，从而得到embeddings u 和 v。使用余弦相似度计算embedding的相似度，并将结果与 gold similarity score进行比较。这允许网络进行微调，并识别句子的相似性.

环境配置

-v 路径、docker_name和imageID根据实际情况修改

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310

docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/sentence-bert_pytorch
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com

Dockerfile（方法二）

cd ./docker
docker build --no-cache -t sbert:latest .
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/sentence-bert_pytorch
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com

Anaconda（方法三）

  1. 关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装: https://developer.hpccube.com/tool/
DTK软件栈：dtk24.04
python：python3.10
torch：2.1.0
torchvision: 0.16.0

Tips：以上dtk软件栈、python、torch等DCU相关工具版本需要严格一一对应

  1. 其他非特殊库直接按照requirements.txt安装
cd /your_code_path/sentence-bert_pytorch
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com

数据集

训练数据: sentence-transformers/stsb，训练代码自动下载。 推理数据: 需要转换成txt格式，参考gen_simple_wikipedia_v1.py文件，生成simple_wiki_pair.txt。

数据集的目录结构如下:

├── dataset
│   ├──simple_wikipedia_v1
│       ├──simple_wiki_pair.txt # 生成的
│       ├──wiki.simple
│       └──wiki.unsimplified

训练

单机多卡

  • 训练
bash train.sh
  • 微调
bash finetune.sh

单机单卡

  • 训练
python training_stsbenchmark.py --train_batch_size 64 --num_epochs 5
  • 微调
python training_stsbenchmark_continue_training.py --train_batch_size 64 --num_epochs 5

推理

  1. 预训练模型下载pretrained models, 当前默认为all-MiniLM-L6-v2模型；
  2. 执行以下命令，测试数据默认为./datasets/simple_wikipedia_v1/simple_wiki_pair.txt，可修改--data_path参数为其他待测文件地址，文件内容格式请参考simple_wiki_pair.txt。
python infer.py --data_path ./dataset/simple_wikipedia_v1/simple_wiki_pair.txt --model_name_or_path all-MiniLM-L6-v2

result

精度

在sts-test数据集上评估模型，Cosine-Similarity得分对比

devicebackboneepochPearsonSpearman
K100bert-base-uncased50.85000.8460
A800bert-base-uncased50.84490.8385

应用场景

算法类别

语义文本相似度

热点应用行业

教育,网安,政府

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
  • 30
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
sentence Bert解读及代码示例
NLP与推荐算法
12-08 1232
SBERT论文详解并附代码。STS任务
Embedding技术：Sentence-BERT句嵌入模型介绍和实践
2401_85378759的博客
06-15 1674
Embedding技术和句嵌入简述Sentence-BERT快速开始Sentence-BERT原理综述孪生神经网络和对比学习Sentence-BERT模型搭建和语义检索实践。
BERT句向量(一)：Sentence-BERT
sgyuanshi的博客
04-26 1万+
前言 句向量：能够表征整个句子语义的向量，目前效果比较好的方法还是通过bert模型结构来实现，也是本文的主题。 有了句向量，我们可以用来进行聚类，处理大规模的文本相似度比较，或者基于语义搜索的信息检索。 例如搜索系统中的输入query和匹配文档document、Q&A任务的问题和答案等等，都可以转化为计算两个句子的语义相似/相关度，相关度最高的n个作为模型的返回结果。 题外话 这种类似的模型一般称为passage retrieval models，即段落检索，有两个代表： sparse model
Sentence-BERT实战
日积月累，天道酬勤
09-24 1万+
本文主要介绍了SBERT作者提供的官方模块的使用实战。
BERT中文实战（文本相似度）
热门推荐
小岁月太着急
12-07 8万+
个人 github BERT本质上是一个两段式的NLP模型。第一个阶段叫做：Pre-training，跟WordEmbedding类似，利用现有无标记的语料训练一个语言模型。第二个阶段叫做：Fine-tuning，利用预训练好的语言模型，完成具体的NLP下游任务。 Google已经投入了大规模的语料和昂贵的机器帮我们完成了Pre-training过程 附上中文预训练bert链接：...
bert服务化&bert模型部署&文本相似度
AK_HuangYC的博客
07-20 1771
本文提供另一个 html 版本。 Bert 是 Google 在 2018 年 10 月提出的一种新的语言模型，全称为 Bidirectional Encoder Representations from Transformers（Bert）。和近年来的一些语言模型譬如 ELMo 不同，BERT 通过在所有层联合调节左右两个上下文来预训练深层双向表示，此外还通过组装长句作为输入增强了对长程语义的理解。Bert 可以被微调以广泛用于各类任务，仅需额外添加一个输出层，无需进行针对任务的模型结构调整，就在文本.
Sentence-Bert论文中英文比对翻译
TFATS的博客
11-05 1515
Sentence-Bert论文全名: Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks Sentence-Bert论文地址：https://arxiv.org/abs/1908.10084 Sentence-Bert论文代码：https://github.com/UKPLab/sentence-transformers Abstract BERT (Devlin et al., 2018) and RoBERTa (Liue.
毕业设计：Python （bert）深度学习文本相似度检测系统设计（源码 + 数据库）
06-11
标题中的“毕业设计：Python (BERT) 深度学习文本相似度检测系统设计”是一个基于Python编程语言，利用BERT模型进行深度学习的项目，旨在实现文本相似度检测功能。BERT，全称为Bidirectional Encoder ...
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2325
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
bert-base-chinese.rar
11-10
使用这个“bert-base-chinese”模型，开发者需要先解压文件，导入PyTorch库，加载模型和预训练权重，对输入文本进行预处理（如分词、添加特殊标记），然后通过模型得到向量表示，最后根据具体任务进行后处理或训练...
深度学习中的PyTorch Tensor详解
SWZ156的博客
08-27 809
PyTorch 中的 Tensor 是深度学习模型的核心数据结构。通过本文，你应该对张量的创建、属性、基本操作以及如何在深度学习中应用有了更深入的了解。在实践中，你会发现 PyTorch 提供了非常丰富的功能，助力你构建和优化神经网络模型。
【PyTorch常用库函数】一文向您详解 with torch.no_grad(): 的高效用法
鸽芷咕的博客
08-31 293
在训练神经网络时，我们通常需要计算损失函数关于模型参数的梯度，以便通过梯度下降等优化算法更新参数。然而，在评估阶段，我们只关心模型的输出，而不需要更新参数。在这种情况下，使用 `with torch.no_grad():` 上下文管理器可以有效地告诉 PyTorch 不要计算或存储梯度，从而节省计算资源，加快评估速度。
非 congda 环境 ubuntu 22.04 源码编译安装 pytorch 并初步检查可用性
最新发布
eloudy的专栏
08-31 376
非 congda 环境 编译安装 pytorch。
加速 PyTorch 模型：使用 ROCm 在 AMD GPU 上应用 torch.compile
数字人生
08-31 884
PyTorch 2.0 引入了一个名为**的工具，可以极大地加速 PyTorch 代码和模型。通过将 PyTorch 代码转换为高度优化的内核，`torch.compile` 在现有代码库上进行最小化修改即可提供显著的性能提升。此功能允许精确优化单个函数、整个模块以及复杂的训练循环，提供了一个多功能且强大的工具来提高计算效率。在这篇博客中，我们将演示如何在 AMD GPU 上使用 ROCm 和加速各种实际模型。
动手学深度学习（pytorch）学习记录17-房价预测[学习记录]
weixin_50995339的博客
08-27 1129
首先，建立字典DATA_HUB， 它可以将数据集名称的字符串映射到数据集相关的二元组上， 这个二元组包含数据集的url和验证文件完整性的sha-1密钥。所有类似的数据集都托管在地址为DATA_URL的站点上。下面的download函数用来下载数据集， 将数据集缓存在本地目录（默认情况下为…/data）中， 并返回下载文件的名称。如果缓存目录中已经存在此数据集文件，并且其sha-1与存储在DATA_HUB中的相匹配， 将使用缓存的文件，以避免重复的下载。
探索视觉的边界：PyTorch与TorchVision的深度融合
2401_85812053的博客
08-27 796
在深度学习领域，图像处理和计算机视觉任务占据了核心地位。PyTorch作为一种流行的深度学习框架，其灵活性和动态计算图特性受到了广泛欢迎。而库，作为PyTorch的扩展包，提供了大量预训练模型、实用工具和数据集加载器，极大地简化了图像处理和计算机视觉任务的开发流程。本文将详细介绍如何在PyTorch中使用库，包括数据加载、预训练模型的使用，以及自定义数据集的处理。PyTorch是一个开源的机器学习库，广泛用于计算机视觉和自然语言处理领域。
【知识】对比Share mem/Pin mem/GPU mem之间的传输速度
xfxuezhang.cn
08-31 231
很必要的小知识
故障诊断 | 基于小波时频图与Swin Transformer的轴承故障诊断方法（PyTorch）
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
08-27 312
故障诊断 | 基于小波时频图与Swin Transformer的轴承故障诊断方法（PyTorch）
利用sentence-Bert和pytorch写一个获取文本相似度的代码
03-11
可以的，以下是一个使用sentence-Bert和pytorch获取文本相似度的示例代码： ```python import torch from sentence_transformers import SentenceTransformer, util # 加载sentence-Bert模型 model = SentenceTransformer('distilbert-base-nli-stsb-mean-tokens') # 定义两个文本 text1 = '这是第一个文本' text2 = '这是第二个文本' # 将文本转换为向量 embeddings1 = model.encode(text1, convert_to_tensor=True) embeddings2 = model.encode(text2, convert_to_tensor=True) # 计算文本相似度 cosine_scores = util.pytorch_cos_sim(embeddings1, embeddings2) # 输出结果 print("文本1和文本2的相似度为：", cosine_scores.item()) ``` 这段代码可以计算两个文本的相似度，其中使用了sentence-Bert模型和pytorch库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值