BERT Sentence embedding基于bert的句子级别的向量表示

最新推荐文章于 2024-03-03 21:10:54 发布
最新推荐文章于 2024-03-03 21:10:54 发布
阅读量2.9k 收藏 10
点赞数 4
分类专栏： NLP 文章标签： 自然语言处理 BERT TRANSFORMERS nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yolo_c/article/details/106182255
版权

【搬运工】在某些情况下，比如我最近遇到的句子级别的序列标注任务，使用BERT得到句向量，是一个可以快速跑通baseline模型的选择，如何使用预训练bert表征句子向量，我自己常用的方法有以下三种

1. [CLS] token对应的encoding

最原始的方法，使用模型的[CLS] token对应的encoding，可以看huggingface的transformers首页的quick tour有简单的example，极易上手
https://github.com/huggingface/transformers

2. bert-as-service

速度超快!!
https://github.com/hanxiao/bert-as-service

3. sentence-bert(sentence-transformer)

2019年EMNLP的一篇文章，使用siamese network的框架来训练bert，其中尝试使用各种不同手段从隐层状态得到句向量，全局池化平均等
https://github.com/UKPLab/sentence-transformers

Yolo_C
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bert_sentence_classification.7z
09-25
基于HuggingFace 哈工大hfl/chinese-bert-wwm-ext预训练模型微调的中文句子分类模型
Pytorch中使用Bert预训练模型，并给定句子得到对应的向量
热门推荐
qq_33812659的博客
07-19 1万+
写在前面 本次的需求是：通过预训练好的Bert模型，得到不同语境下，不同句子的句向量。相比于word2vec、glove这种静态词向量，会含有更丰富的语义，并能解决不同场景不同意思的问题。 建议大家先看Bert原论文（看之前最好懂得ELMo，一定要懂transformer），再结合这个博客（墙裂推荐） 开始 本次记录一共分成以下四步： 安装transformer包 导入BertTokenizer和BertModel 将要输入的句子修改为Bert要求的输入形式 输入Bert模型，得到token向量 安装t
SentenceTransformer简单使用
make_progress的博客
03-03 528
SentenceTransformer主要用于对句子、文本和图像进行嵌入。可用于文本和图像的相似度对比查找等。
AI实践与学习1_NLP文本特征提取以及Milvus向量数据库实践
xiaosi的博客
11-19 1721
随着NLP预训练模型（大模型）以及多模态研究领域的发展，向量数据库被使用的越来越多。在XOP亿级题库业务背景下，对于试题召回搜索单单靠着ES集群已经出现性能瓶颈，因此需要预研其他技术方案提高试题搜索召回率。现一个方案就是使用Bert等模型提取试题题干特征，然后存储到向量数据库，检索试题先走向量数据库，拿到具体的试题ID等信息在走ES进行相似题召回，从而提高搜索的性能。需要考虑的就是特征提取的效率，Milvus的性能（比较吃服务器资源），然后进行评估。
获取Embedding
咔咔响
06-30 1623
今天我们来介绍实现Embedding的方法，分为手动实现、利用平台获取以及预训练模型手动实现一个简单word2vecimport numpy as np from argparse imp...
自然语言处理中的迁移学习(上)
zenRRan的博客
11-06 1175
作者：哈工大SCIR 徐啸来源：Transfer Learning in Natural Language Processing Tutorial (NAACL 2019)作者：Seba...
sentence-transformers-new.rar
11-22
SentenceBert最新代码压缩包，用于NLP领域的相似度匹配、信息检索等任务，效果优于目前SOTA模型
Bert 中[CLS]的意义
xiaomi5410的博客
05-15 1212
BERT 【CLS】意义
还在用[CLS]？从BERT得到最强句子Embedding的打开方式！
夕小瑶科技说
12-24 3457
文：涅生编：兔子酱你有尝试从 BERT 提取编码后的 sentence embedding 吗？很多小伙伴的第一反应是：不就是直接取顶层的[CLS] token的embedding作为句...
再谈BERT
约定的博客
04-14 293
第三次讲到了BERT。第一次是文章目录1 关于预训练模型1.1预训练概念1.2 再谈语言模型1.3 ELMo1.4 GPT 1 关于预训练模型 1.1预训练概念 预训练模型最早用于CV领域。 深度学习模型就是一个y=fθ(x)y=f_{\theta}(x)y=fθ​(x)查找最优θ\thetaθ的过程。如果参数θ\thetaθ初始值合适的话，会加快模型训练进度。 预训练就是在任务上优化参数，最后得出一套参数。这套参数可以作为下游任务的初始值。 为什么预训练模型可
huggingface的transformers库的常用操作记录
weixin_43646592的博客
05-26 1118
更具体的内容请参看huggingface模型官方文档链接：https://huggingface.co/docs/transformers/model_doc/bert#bertforsequenceclassification 考虑到经常用到这个库，这里简单记录下bert模型的输出方便整活各种tricks： from transformers import BertModel, BertConfig bert_dir = 'hfl/chinese-macbert-base' config = BertCo
BERT-Embedding-Frequently-Asked-Question:使用BERT的基于常见问题的问答系统
05-01
（2）使用了Sentence BERT 语义向量（Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks） （3）对同义问题有很好的支持 （4）支持多领域语料（保证了召回的数据是对应领域的，即使是同样的问题，也...
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
最新发布
03-21
SBERT使用siamese和triplet network结构来推导语义上有意义的句子embedding，使用余弦相似性进行比较，减少了寻找最相似的工作量，从使用BERT/RoBERTa的65小时减少到使用SBERT的约5秒，同时保持了BERT的准确性。
bert-as-service：使用BERT模型将可变长度句子映射到固定长度向量
02-03
•••• •了解如何使用Jina通过任何深度学习表示来提取特征向量伯特即服务使用BERT模型作为句子编码服务，即将可变长度的句子映射到固定长度的向量。 •••• ••••韩晓制作• :globe_with_meridians: 它是...
Python基于BERT的中文文本相似度识别模型源码+项目说明.zip
11-19
Python基于BERT的中文文本相似度识别模型源码+项目说明.zipPython基于BERT的中文文本相似度识别模型源码+项目说明.zip 无监督学习：向量白化、对比学习 bertwhitening：bert输出向量白化 论文：Whitening ...
sentence_embedding
04-21
使用 from demo import SentenceEmbedding demo=SentenceEmbedding(model_...model_path=/cfs/cfs-dtmr08t1/bert-base-chinese-local cfs挂载路径：/cfs/cfs-dtmr08t1/ 可用的镜像：venus-c-yuchengli-transformers4
Bert一些重要函数的详解
cz的博客
11-26 1711
记录一下 embedding_lookup 根据词的索引来获取embedding 输入是[batch_size,seq_lenth] 输出[batch_size,seq_lenth,embeding_size] def embedding_lookup(input_ids, vocab_size, embedding_size=128, initializer_range=0.02
彻底搞懂Bert
Enjoy_endless
04-12 1042
自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型，网上相关介绍也很多，但很多技术内容太少，或是写的不全面半懂不懂，重复内容占绝大多数（这里弱弱吐槽百度的搜索结果多样化。。） 一句话概括，BERT的出现，...
NLP读书笔记
风远陌
05-12 946
NLP读书笔记，在看过《python自然语言处理实战核心技术与算法》、《数学之美第二版》记录一些笔记，日后常看看 然语言处理技术可以帮助这样的用户使用自然语言和机器交流； NLP基本可以分为两个部分：自然语言处理以及自然语言生成，演化为理解和生成文本的任务； NLP可以被应用于很多领域，这里大概总结出以下几种通用的应用： ●机器翻译：计算机具备将一种语言翻译成另一种语言的能力。 ●情感分析：计算机能够判断用户评论是否积极。 ●智能问答：计算机能够正确回答输入的问题。 ●...
使用sentence-bert转换向量的代码
09-13
### 回答1： Sentence-BERT是一种自然语言处理模型，可用于将句子转换为向量表示。下面是一个使用Python代码的示例，展示如何使用Sentence-BERT转换句子为向量。 首先，需要安装Sentence-BERT的Python包。可以使用以下命令安装： ``` pip install sentence-transformers ``` 然后，可以使用以下代码加载Sentence-BERT模型并将句子转换为向量： ```python from sentence_transformers import SentenceTransformer # 加载Sentence-BERT模型 model = SentenceTransformer('bert-base-nli-mean-tokens') # 定义句子列表 sentences = ['这是一个句子', '这是另一个句子'] # 将句子转换为向量 sentence_embeddings = model.encode(sentences) # 打印结果 print(sentence_embeddings) ``` 上述代码将输出一个形如`[array([...], dtype=float32), array([...], dtype=float32)]`的列表，其中每个数组都是对应句子的向量表示。 请注意，这是一个简化的示例，实际应用中还可能有更多的参数和配置。建议您参考Sentence-BERT的文档，了解更多信息。 ### 回答2： Sentence-BERT是一种预训练的BERT模型，专门用于生成文本句子的嵌入向量。使用Sentence-BERT来转换句子为向量的代码如下： 首先，需要安装相应的Python依赖库，包括transformers和torch等。 ```python from sentence_transformers import SentenceTransformer, util import torch # 加载Sentence-BERT模型 model = SentenceTransformer('bert-base-nli-mean-tokens') # 需要转换为向量的句子 sentences = ['这是一个例子句子1', '这是一个例子句子2'] # 将句子进行转换为向量 sentence_embeddings = model.encode(sentences, convert_to_tensor=True) # 打印转换后的句向量 for sentence, embedding in zip(sentences, sentence_embeddings): print("句子:", sentence) print("向量:", embedding) print("") ``` 上述代码首先加载了Sentence-BERT模型，其中选择了预训练的bert-base-nli-mean-tokens模型，也可以使用其他预训练模型。然后，定义了要转换为向量的句子列表。接下来，调用`model.encode()`方法，将句子列表作为参数传递进去，该方法会返回句子的嵌入向量。最后，通过迭代句子列表和嵌入向量列表，可以打印出每个句子及其对应的向量表示。 需要注意的是，转换后的向量是一个torch.Tensor对象，可以通过`embedding.tolist()`将其转换为列表形式。另外，如果想计算两个句子之间的相似度，可以使用`util.pytorch_cos_sim()`方法来计算余弦相似度。 ### 回答3： Sentence-BERT（SBERT）是一种用于生成文本向量的预训练模型，它可以将句子转换为词向量表示。以下是一个使用Sentence-BERT转换向量的Python代码示例： 1. 安装必要的库： ```python !pip install -U sentence-transformers ``` 2. 导入必要的库： ```python from sentence_transformers import SentenceTransformer ``` 3. 加载预训练模型： ```python model = SentenceTransformer('paraphrase-MiniLM-L6-v2') ``` 这里我们加载了SBERT的一个预训练模型，例如：'paraphrase-MiniLM-L6-v2'。你也可以根据需要选择其他预训练模型。 4. 转换句子为向量： ```python sentence = '这是一个例子句子。' sentence_embedding = model.encode([sentence]) ``` 我们将待转换句子作为列表传递给模型的encode()方法，该方法将返回一个包含句子向量的列表。在这个例子中，我们只有一个句子，因此输出将是一个长度为1的列表。 5. 打印转换结果： ```python print('句子向量的维度：', len(sentence_embedding[0]), '维') print('句子向量：', sentence_embedding[0]) ``` 这里我们打印了输出向量的维度和向量本身。 通过以上代码，我们可以获得原始句子的向量表示。你还可以使用这些向量进行句子相似性计算、聚类、检索等自然语言处理任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值