【把句子变成embedding】Sentence-BERT

最新推荐文章于 2025-05-22 09:37:07 发布
最新推荐文章于 2025-05-22 09:37:07 发布
阅读量496 收藏
点赞数
分类专栏： NLP 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiwei935707936/article/details/122019004
版权
Sentence-BERT模型的句子级语义相似
寻梦友的博客
02-23 126
在很多专业场景下，传统的搜索引擎不能满足客户灵活性问题的“解答”。深入理解客户问题的语义信息，是传统搜索需要解决的一大难题。在一些应用场景中，当用户不知道搜索什么内容时，或者输入相应内容希望得到结果，这时候普通ES索引是不太精准了，因为它不理解用户的语义。例如：“苹果公司发布了新款手机” 和 “苹果推出了新的移动设备”、“如何制作蛋糕”和“蛋糕的制作方法”等等，这些问题在词语上相近较少，但语义上相似度极高。如何去解决上面的问题？--------S-BERT模型实现句子级语义信息表达。
关于句子embedding的一些工作简介（一）
triplemeng的博客
07-17 8313
关于句子embedding的一些工作简介（一） 对于NLP方面的工作来讲，毫无疑问词嵌入(word embedding)是最重要的基石。然而人们往往最关心的是如何利用词嵌入表达好一个句子或者一段话，也就是如何找到sentence embedding, 或者paragraph embedding 过去的一些解决方案 Bag of Words 最直观的想法是忽略句子里词语的顺序，从而把它...
Sentence-BERT实战
热门推荐
日积月累，天道酬勤
09-24 1万+
本文主要介绍了SBERT作者提供的官方模块的使用实战。
用sentencebert、sbert + faiss对比学习训练词向量原理与实战
weixin_45079449的博客
04-28 2593
1、推广搜：类似推荐算法，召回相似向量表征的文本2、求余弦相似度：两个词（句）向量求语义相似度。
Sentence-BERT实现文本匹配【分类目标函数】
日积月累，天道酬勤
09-03 2239
本文实战Sentence-BERT提出的如何训练嵌入模型的方法，主要是基于句子对的分类目标函数实现。
文本语义表征(Sentence-Bert、Simcse)的应用和实践
qq_40176087的博客
06-26 5980
文本语义表征(Sentence-Bert、Simcse)的应用和实践
《基于Sentence-BERT训练自己的文本相似度模型》源代码
08-06
Sentence-BERT(SBERT)网络利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。...
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 754
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
m0_48923489的博客
04-07 1436
改文章为了解决相似文本对的快速搜索问题，提出了一种基于孪生网络的有监督训练分类训练，目的是帮助模型获得有效的句子特征。实验结果表明了该方法的有效性，改论文数据比较老的论文，现在普遍采用的方式都是基于对比学习的方式。消融实验仅仅给出了实验结果，并未对结果进行分析。算是科普了几种方法吧。
【EMNLP 2019】Sentence-BERT
09-15 2029
在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NLP任务上取得了不错的性能，但其自身导出的句向量（【CLS】输出的向量、对所有输出字词token向量求平均）质量较低。由于BERT输出token向量预训练中，后面接的的分类的任务。所以其实输出token向量并不适合作为生成句子表示。
Bert句嵌入模块sentence-transformers实战入门
qq_42896431的博客
03-13 9266
参考链接：安装 — 句子转换器文档 (sbert.net) 1.安装 环境：python 3.6>=，pytorch 1.6.0>=，transformers v4.6.0>=。不支持 python 2.7 pytorch 安装参考PyTorch安装报错_piukaty的博客-CSDN博客 transformers 安装： pip install transformers sentence-transformers安装： pip install -U sentence-.
bert预训练实战篇-持续更新
weixin_42419825的博客
09-01 2138
导读 使用bert预训练会遇到很多坑，包括但不限于数据预处理的正确姿势、数据预处理的高效实现、bert单机多卡分布式训练的基本实现，以及如何debug并提升使用单机多卡来进行深度学习训练的性能瓶颈。本篇记录bert预训练遇到的坑以及排坑方法。供大家参考。 凡是涉及训练模型，总要涉及算力和数据，算力决定模型训练的速度，数据决定了训练的模型所能达到的高度。对于大多数人来说，实战平台仅仅是一台Intel CORE i7的CPU，数据只能从网上爬一些或者公开的数据集，这些数据标注量有限，因此无法引入监督训练，即使引
Sentence-BERT详解
mathor的博客
10-13 1万+
简述 BERT和RoBERTa在文本语义相似度（Semantic Textual Similarity）等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时送入网络，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000C_{10000}^2=49,995,000C100002​=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务，
使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
ljp1919的专栏
06-06 1万+
背景 用BERT对句子进行向量化 实施 TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 在server安装完后，启动服务，比如：bert-serving-start -mod
文本匹配之Sentence Bert模型
dzysunshine的博客
09-26 5705
文章目录前言Bert句向量表示效果为什么不好？Sentence Bert 原理 前言 目前，对于大部分的NLP任务来说，通过对预训练模型进行微调的方式已经取得了很好的效果，但对于某些特定的场景，我们常常需要的是文本的表示，比如文本聚类，文本匹配（搜索场景）等等； 在进行文本匹配任务时，在计算语义相似度时，Bert模型需要将两个句子同时进入模型，进行信息交互，假如有10000个句子，找出最相似的句子对，需要计算（10000*9999/2）次，非常耗时。而Sentencebert可以预先将标准库中的问题预先离线
【自然语言处理与大模型】向量数据库：Milvus使用指南
qq_39780701的博客
05-19 457
Milvus使用指南
AI人工智能的SGLang、vllm和YaRN大语言模型服务框架引擎的对比
没刮胡子的程序员专栏
05-20 153
SGLang、vLLM和YaRN是三种适用于大语言模型（LLMs）的技术框架，各自在特定场景中表现出色。SGLang专为多模态任务设计，通过优化前后端语言协同，提升交互速度和可控性，适用于图像生成、视频处理及低延迟应用。vLLM专注于大规模模型推理优化，采用动态调度和PagedAttention内存管理，支持高并发和分布式部署，适合企业级API服务。YaRN则通过扩展上下文窗口，提升模型处理长文本的能力，适用于文档摘要、机器翻译等任务。示例代码展示了如何分别使用这些框架进行图像生成、文本推理和上下文扩展，并
【NLP】35. 构建高质量标注数据
weixin_48846514的博客
05-19 1250
如何构建高质量标注数据？大语言模型背后的那只“看不见的手”
大语言模型 18 - MCP Model Context Protocol 基本项目 测试案例
最新发布
永远好奇，无限进步！
05-22 982
在测试项目中，首先通过uv工具创建并启动了一个名为weather的服务端项目，安装了相关依赖，并编写了一个基于MCP的天气服务端程序。该程序通过MCP工具标识功能，能够根据区域名称或经纬度查询天气警报和预报，并将结果格式化输出。接着，创建了一个名为mcp-client的客户端项目，安装了相关依赖，并编写了一个客户端代码，用于连接到MCP服务器并与AI模型进行交互。
图解Sentence-BERT
02-17
### Sentence-BERT 图解教程 #### 句子嵌入的重要性 为了有效地比较两个句子之间的相似度，传统的方法通常依赖于词袋模型或其他浅层特征提取技术。然而这些方法忽略了词语顺序和上下文信息。Sentence-BERT通过改进BERT架构来解决这一问题，能够生成高质量的固定长度向量表示用于衡量文本间的语义距离。 #### 架构概述 Sentence-BERT基于标准版BERT构建而成，主要区别在于引入了特殊的池化机制(pooling strategy)，使得可以直接从输入序列得到整个句子级别的表达[^1]。 ```python from sentence_transformers import SentenceTransformer, util model = SentenceTransformer('all-MiniLM-L6-v2') sentences = ['这是一句话', '这是另一句话'] embeddings = model.encode(sentences) print(embeddings.shape) # 输出维度 (batch_size, embedding_dim) ``` #### 训练过程中的变化 相比于原始版本仅关注单句内部关系的做法，Sentence-BERT特别设计了一种对比损失函数(contrastive loss function),它鼓励正样本对之间保持更近的距离而负样本则尽可能远离。这种策略有助于提升下游任务如问答匹配、文档检索等方面的表现效果[^3]。 #### 应用实例展示 当应用于实际场景时，比如计算两篇新闻报道是否讲述相同事件；或是判断客服对话记录里顾客意图的一致性等问题上，都可以借助预先训练好的Sentence-BERT模型快速获得精准的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值