bert获得词向量_无监督语义相似度匹配之Bert抽取文本特征实战

最新推荐文章于 2024-06-07 09:46:09 发布
最新推荐文章于 2024-06-07 09:46:09 发布
阅读量3.2k 收藏 48
点赞数 2
文章标签： bert获得词向量 go build 无文件

今天记一次采用bert抽取句子向量的实战过程，主要是想感受一下bert抽取出来的句子特征向量是否真的具有不错的语义表达。

在此之前，我们来回顾一下，如果我们想拿到一个句子的特征向量可以采用什么样的方式(ps 这些下方总结只是笔者在工作中学到的一些文本向量抽取方式，可能并未收集齐全)：

基于词袋模型(Bag of Words)

  • Bag of Words : 主要思想是基于对句子中字出现的次数来构建句子向量，向量大小即为词表大小。可以采用的工具是gensim中的doc2bow
  • TF-IDF：在BOW的基础上，考虑到每个字的重要程度，向量大小依然等于词表大小。可以采用的工具是gensim中的TfidfModel

基于无监督神经网络模型

  • 词向量的平均(mean)：直观理解就是将句子中每个词的词向量求平均，向量维度等于词向量维度。可以使用工具是gensim中的word2vec。
  • Doc2Vec：主要借鉴了word2vec思想去训练句子向量，向量维度可以自己设置。可以使用工具是gensim中的doc2vec。
  • Bert 生成的句子向量：BERT的每一层的输出其实都可以看作句子的向量，你可以有很多种方式去抽取文本向量，比如官方给出的取最后四层的句子向量拼接（输出维度：[maxlen,768*4]）或者求平均(输出维度：[maxlen,768]。后续也许你需要在对句子向量求一下平均，这样文本向量的维度就为768。 可以采用的工具是官方开源的代码中的extract_features.py，当然也可以采用一些其他方式，我在实战部分会介绍另外一种。

基于文本主题的模型（这个词不是很严谨）

    最低0.47元/天 解锁文章
    weixin_39847887
    关注
    • 2
      点赞
    • 踩
    • 48
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    bert获得词向量_BERT中的词向量指南
    weixin_39792475的博客
    11-20 2711
    作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。介绍历史2018年是NLP的突破之年。迁移学习...
    基于BERT的文本相似度计算
    weixin_42052964的博客
    12-31 1万+
    一、背景 最近在研究文本相似度，利用Bert去实现。 如果是在通用领域内进行文本相似度计算的话，就无需对Bert中文模型进行预训练，如果在特定领域内，就需要提前用大量的语料进行对google原版的中文模型进行预训练。 bert用来提取句向量，然后利用余弦距离去计算相似度。 二、具体实现 利用苏神的bert4keras去构建网络模型，简单而又方便。 from bert4keras.models import build_transformer_model from bert4keras.tokeniz
    探秘BERT语义相似度计算：BertSimilarity开源项目解析与应用
    最新发布
    gitblog_00041的博客
    06-07 297
    探秘BERT语义相似度计算：BertSimilarity开源项目解析与应用 项目地址:https://gitcode.com/Brokenwind/BertSimilarity BERT（Bidirectional Encoder Representations from Transformers）模型自推出以来，已经在自然语言处理领域引起了广泛的关注。它的强大之处在于能够理解和捕捉文本的深层语义...
    基于Bert预训练模型的教育政策文档关键字提取
    weixin_44268857的博客
    09-05 1265
    本项目是基于Bert预训练模型，对教育政策文本进行关键词提取
    bert获得词向量_词向量详解：从word2vec、glove、ELMo到BERT
    weixin_39589557的博客
    11-20 3797
    目前，词向量(又叫词嵌入)已经成为NLP领域各种任务的必备一步，而且随着bert elmo,gpt等预训练模型的发展，词向量演变为知识表示方法，但其本质思想不变。学习各种词向量训练原理可以很好地掌握NLP各种方法。生成词向量的方法有很多种，本文重点介绍word2vec,glove和bert。各种词向量的特点：One-hot：维度灾难 and 语义鸿沟矩阵分解(LSA)：利用全局语料特征，但SVD求...
    【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
    sjyttkl的专栏
    03-10 2323
    目录 前述 1) 模型结构 2) 模型运算 2 End-to-End BERT RE 1) 模型结构 1. 实体识别模块 常常在想，自然语言处理到底在做的是一件什么样的事情？到目前为止，我所接触到的NLP其实都是在做一件事情，即将自然语言转化为一种计算机能够理解的形式。这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难...
    bert_bert词向量_BERT_
    09-28
    BERT模型经过大规模语料的预训练，能学习到丰富的语言特征，因此它的词向量能够捕捉到词语的语义信息，甚至可以理解词语在句子中的不同含义。生成的新词向量可以作为下游任务（如文本分类、问答系统、情感分析等）的...
    TextMatch-基于Pytorch的，中文语义相似度匹配模型（ABCNN，Albert，Bert，BIMPM，....zip
    03-02
    TextMatch_基于Pytorch的，中文语义相似度匹配模型（ABCNN，Albert，Bert，BIMPM，....zipTextMatch_基于Pytorch的，中文语义相似度匹配模型（ABCNN，Albert，Bert，BIMPM，....zipTextMatch_基于Pytorch的，中文...
    基于transformers+bert预训练模型在语义相似度任务上的finetune
    03-22
    标题中的“基于transformers+bert预训练模型在语义相似度任务上的finetune”指出，这个项目关注的是如何利用transformers库以及BERT（Bidirectional Encoder Representations from Transformers）预训练模型来微调...
    利用bert预训练模型生成句向量或词向量.zip
    01-07
    通过在BERT模型的输出中对应位置获取每个单词的向量，可以得到词级别的表示。这些词向量可用于词性标注、词义消歧、甚至构建词嵌入矩阵。 在实际应用中，这些向量可以被用于多种任务，例如文本分类、情感分析、问答...
    BertSimilarity：使用Google的BERT算法计算两个句子的相似度。利用Bert计算句子相似度。语义相似度计算
    02-03
    基于Google的BERT模型来进行语义相似度计算。代码基于tensorflow 1。 1.基本原理 简单来说就是将需要需要计算的相似性的两个句子先分解在一起，然后通过伯特模型获取获取整体的编码信息，然后通过全连接层将维，输出...
    基于语义相似度的中文文本相似度算法研究
    07-25
    基于语义相似度的中文文本相似度算法研究.pdf基于语义相似度的中文文本相似度算法研究.pdf基于语义相似度的中文文本相似度算法研究.pdf
    bert语义相似度计算
    热门推荐
    luoyexuge的专栏
    01-11 1万+
    bert语义相似性计算，这个和上一块的文本分类模型有点类似，但是segment_ids稍微和文本分类不一样，数据集可以参照蚂蚁金服语义相似度计算的文本（可以搜索蚂蚁金服语义相似比赛数据可以多出下载到），两个句子之间通过[SEP]分割，[CLS]的向量作为分类的输入，标签是两个句子是否相似。可以作为排序算法，代码和上面的文本分类情况一样。   度max_length，第一句对应位置（包含[CLS...
    bert做语义相似度文章的注解
    qq_32743513的博客
    11-09 815
    之前查找bert做语义相似度资料时使用了一个博主的代码，原文：https://blog.csdn.net/u012526436/article/details/84637834 网上如何做fine-tune的文章很多，但是找到的单例预测的比较少，这个是为数不多的一篇。有些细节作者没写，查询资料后记录下来用来注解： （此处引用https://zhuanlan.zhihu.com/p/112062303） tensorflow 的Estimator 这个高级API，它的主要作用就是提出一个高级范式（paradi
    深度学习核心技术精讲100篇（四）-用预训练语言表征模型Bert抽取文本特征做语义相似度分析
    wenyusuran的专栏
    07-25 2012
    今天记一次采用bert抽取句子向量的实战过程，主要是想感受一下bert抽取出来的句子特征向量是否真的具有不错的语义表达。 在此之前，我们来回顾一下，如果我们想拿到一个句子的特征向量可以采用什么样的方式(ps 这些下方总结只是笔者在工作中学到的一些文本向量抽取方式，可能并未收集齐全)： 基于词袋模型(Bag of Words) Bag of Words : 主要思想是基于对句子中字出现的次数来构建句子向量，向量大小即为词表大小。可以采用的工具是gensim中的doc2bow TF-IDF：在BOW的基
    python自然语言处理-bert实战_文本分类实战（十）—— BERT 预训练模型
    weixin_39999025的博客
    12-17 3101
    1 大纲概述文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型(ELMo，BERT等)的文本分类。总共有以下系列：2 数据集数据集为IMDB 电影影评，总共有三个数据文件，在/data/rawData目录下，包括unlabeledTrainData.tsv，labeledTrainData.tsv，testData.tsv。在进行文本分类时需要有标签...
    几种文本向量化方式原理简要介绍
    u010483897的博客
    01-06 2870
    几种文本向量化方式原理简要介绍
    BERT提取句子特征——Bert-as-server的实际操作（Windows10）
    weixin_54671931的博客
    07-24 1931
    笔者最近接到一个任务——使用Bert模型提取句子的特征，得到其输出的特征向量。Bert模型在网上已有许多解读，本文聚焦于如何将Bert模型作为一个工具对句子的特征进行提取。查阅多方资料后，笔者发现谷歌公司已经将Bert模型开源，并且在官网提供了部分已经完成预训练的模型。但是笔者遇到的问题是，Bert官网提供的代码在笔者本地环境中无法正常运行，多次调试环境仍无果。因此，笔者尝试使用Bert-as-server调用预训练的Bert模型进行特征提取。...
    【机器学习】主成分分析 (PCA)、无监督特征提取
    Gene_I must wait for the sunrise
    01-07 1420
    数据降维 主要有两类方法，用于将输入数据的特征降维，分别是「特征提取」与「特征选择」。 特征选择 在原始特征集中选择一个子集。 特征提取 对原始特征集中所有特征进行线性组合，实现降维的目的。通常分为无监督与有监督两类： 无监督：最小化信息损失 有监督：最大化类别间差异 PCA 特点：由于是无监督，因此降维时所有数据平等看待。 ...
    python词组语义相似度_【NLP】BERT语义相似度计算
    05-19
    BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，适用于各种自然语言处理任务，其中包括词组语义相似度计算。 BERT的主要思想是利用Transformer模型来捕捉句子中的上下文信息，从而更好地理解每个词的含义。在词组语义相似度计算中，我们可以使用BERT模型来计算两个词组之间的相似度得分。 具体来说，我们可以将两个词组输入到BERT模型中，获取它们的表示向量，然后通过余弦相似度计算它们之间的相似度得分。具体实现可以使用Python编程语言和PyTorch深度学习框架。 以下是一个示例代码： ```python import torch from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def get_similarity_score(text1, text2): encoded_text = tokenizer(text1, text2, return_tensors='pt', padding=True, truncation=True) with torch.no_grad(): outputs = model(**encoded_text) embeddings = outputs.last_hidden_state[:, 0, :] similarity_score = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0) return similarity_score.item() # 示例用法 text1 = "python词组语义相似度" text2 = "NLP中的BERT语义相似度计算" similarity_score = get_similarity_score(text1, text2) print("相似度得分：", similarity_score) ``` 这里我们使用了BERT的预训练模型和预训练分词器，对输入的两个文本进行编码并获取它们的表示向量，然后使用余弦相似度计算它们之间的相似度得分。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值