使用pytorch中的bert模型获取句子向量为后续NLP任务做准备

最新推荐文章于 2024-08-16 08:02:12 发布
最新推荐文章于 2024-08-16 08:02:12 发布
阅读量1w 收藏 11
点赞数
分类专栏： 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/love_data_scientist/article/details/95950769
版权
本文介绍了如何在PyTorch中利用预训练的BERT模型获取句子的向量表示，包括安装库、下载模型和字典，以及进行句子的标记化和向量化处理。通过平均池化第二层隐藏层的输出，得到固定长度的句子表示。
摘要由CSDN通过智能技术生成

1.安装pytorch-pretrained-BERT

pip install pytorch-pretrained-bert

我的python版本是3.6

2.下载模型和字典：

模型和字典位置：https://s3.amazonaws.com/models.huggingface.co

例如下载bert-base-cased.tar.gz

https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz

https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt

放到文件夹bert-base-cased_file中，切记文件夹名字不要和模型名字一样，把bert-base-cased-vocab.txt重命名为vocab.txt，解压bert-base-cased.tar.gz

3.获得隐层向量和最后输出到下个单元的向量

import torch
from pytorch_pretrained_bert import BertT

最低0.47元/天 解锁文章
love_data_scientist
关注
专栏目录
基于Pytorch+Bert实现电商情感多分类任务
CSDN 精品推荐
12-26 2207
BERT是2018年10月由Google AI研究院提出的一种预训练模型。BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。
bert获得词向量_只需几行 Python 代码，即可用 BERT 玩转词嵌入！
weixin_39783512的博客
11-20 2491
作者 | Anirudh_S 译者 | Sambodhi 编辑 | 张之栋 AI 前线导读： 在自然语言处理领域中，诞生于 2018 年末的 BERT 非常的“火热”。强悍如 BERT，在十多项 NLP 的任务上强势屠榜，业界声称 BERT 将开创自然语言处理领域新的纪元。在本文中，作者 Anirudh_S 将展示如何只使用几行 Python 代码，就可...
Pytorch中使用Bert预训练模型，并给定句子得到对应的向量
热门推荐
qq_33812659的博客
07-19 1万+
写在前面 本次的需求是：通过预训练好的Bert模型，得到不同语境下，不同句子的句向量。相比于word2vec、glove这种静态词向量，会含有更丰富的语义，并能解决不同场景不同意思的问题。 建议大家先看Bert原论文（看之前最好懂得ELMo，一定要懂transformer），再结合这个博客（墙裂推荐） 开始 本次记录一共分成以下四步： 安装transformer包 导入BertTokenizer和BertModel 将要输入的句子修改为Bert要求的输入形式 输入Bert模型，得到token向量 安装t
PyTorch Pretrained BERT 项目使用教程
最新发布
gitblog_00742的博客
08-16 321
PyTorch Pretrained BERT 项目使用教程 pytorch_pretrained_BERT项目地址:https://gitcode.com/gh_mirrors/py/pytorch_pretrained_BERT 1. 项目的目录结构及介绍 pytorch_pretrained_BERT/ ├── cache/ ├── data/ ├── models/ │ ├── __...
pytorch中bert字向量和句向量生成
qq_38148600的博客
09-21 674
看见网上的代码特别垃圾，经过不断整理，整理出最简单明白的版本
bert生成句向量(python)
weixin_43957354的博客
02-24 1588
bert生成句向量
基于词向量使用Pytorch常规自编码器对句子进行向量表示与降维
学习笔记
01-23 1439
其实句子建模进行向量化表示，应该使用递归自编码器比较合理，即基于句法树或者误差最小的原则词两两之间进行重构，重构后的再继续与剩下的进行重构，道理大概都懂，但是理论和实际还是有差距的，因为我目前还没有找到实例，找了些论文里面说的也是模模糊糊，因此我还无法使用递归自编码器实现句子建模，但是我发现许多实例是对手写数字图片进行自编码器的降维，因此我斗胆有了以下思路： 1.使用jieba切词然后使用word2vec训练词向量，每个词词向量维度v为128 2.计算每个句子词数多少，然后根据数量分布取每句的词数d为11（
利用bert预训练模型生成句向量或词向量.zip
01-07
在自然语言处理领域，预训练模型已经成为理解和生成文本的关键工具，BERT（Bidirectional Encoder Representations from Transformers）就是其中的杰出代表。本项目是关于如何利用BERT预训练模型生成句向量和词向量...
Bert-Chinese-Text-Classification-Pytorch:使用Bert，ERNIE，进行中文文本分类
04-24
模型选择和准备：在中文文本分类任务中，Bert和ERNIE等预训练模型已经在自然语言处理领域显示出强大的性能。你可以选择合适的预训练模型，并下载相应的模型权重文件。通过使用Pytorch的模型加载和初始化功能，能够将...
基于Pytorch的Bert应用
06-22
BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的一种预训练语言模型，它在多个自然语言处理（NLP）任务上取得了前所未有的优秀性能，如问答系统、文本分类、情感分析和...
NLP词向量和句向量方法总结及实现
HUSTHY的博客
06-06 3819
目前各种词向量是很多的，很有必要做一个综合性的总结。在CSDN上一看已经有作者做过这部分的工作了。觉得写的非常棒，于是就转载过来了，原文地址：NLP词向量和句向量方法总结及实现，具体内容如下： 一、Word2Vec 1、Word2Vec介绍 Word2Vec是Google在2013年开源的一款词向量计算工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。 Word2vec源码 Word2vec论文 Word2Vec原理 2、Ge...
python保存模型 特征_Pytorch提取模型特征向量保存至csv的例子
weixin_42127835的博客
01-29 985
Pytorch提取模型特征向量# -*- coding: utf-8 -*-"""dj"""import torchimport torch.nn as nnimport osfrom torchvision import models, transformsfrom torch.autograd import Variableimport numpy as npfrom PIL import I...
python安装bert模型_Pytorch中使用Bert预训练模型，并给定句子得到对应的向量
weixin_35374026的博客
12-23 1666
写在前面本次的需求是：通过预训练好的Bert模型，得到不同语境下，不同句子的句向量。相比于word2vec、glove这种静态词向量，会含有更丰富的语义，并能解决不同场景不同意思的问题。建议大家先看Bert原论文(看之前最好懂得ELMo，一定要懂transformer)，再结合这个博客(墙裂推荐)开始本次记录一共分成以下四步：安装transformer包导入BertTokenizer和BertMo...
bert-pytorch安装记录
Think
01-23 7166
根据Github https://github.com/codertimo/BERT-pytorch 中的readme执行 pip3 install bert-pytorch 结果报错：Couldn't find a version that satisfies the requirement torch>=0.4.0 返回conda list发现torch的版本是0.3.1低于0.4...
基于pytorch的Bert模型
Anna
04-05 1212
代码真的好难啊，就算是照着抄也会错，真的是服了，大半天就只做了这一个事，还好的是最后都敲出来了。 源代码参考网址：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/04_transformer_tutorial_2nd_part/BERT_tutorial/models/bert_model.py 论文网址： BERT: Pre-training of Deep Bidirectional Transformers f
Bert（Pytorch）预训练模型的使用，一看就会
qq_40887846的博客
06-07 1万+
bert预训练模型使用方法
HuggingFace Bert语言模型抽取句子表征向量
weixin_41514525的博客
06-12 613
【代码】HuggingFace Bert语言模型抽取句子表征向量。
Bert实现意图分类
weixin_62791428的博客
11-28 2576
bert模型实现意图分类
介绍一下pytorch来获取bert词向量
05-10
首先，要使用PyTorch获取BERT词向量，需要安装Transformers库。Transformers库是一个基于PyTorch和TensorFlow的自然语言处理库，其中包含了BERT等预训练模型。 以下是获取BERT词向量的步骤： 1. 导入必要的库和模型 ```python import torch from transformers import BertTokenizer, BertModel # 加载预训练模型和词汇表 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') ``` 2. 输入文本，并进行分词 ```python # 输入文本 text = "Hello, how are you?" # 对文本进行分词 tokens = tokenizer.tokenize(text) # 将分词结果转换为模型可接受的输入格式 input_ids = torch.tensor(tokenizer.encode(text, add_special_tokens=True)).unsqueeze(0) ``` 3. 使用BERT模型获取词向量 ```python # 获取BERT模型的输出 outputs = model(input_ids) # 获取最后一层的输出，即词向量 last_hidden_states = outputs[0] ``` 最后，`last_hidden_states`即为BERT模型对输入文本中每个词的词向量表示。需要注意的是，`last_hidden_states`的形状为`(batch_size, sequence_length, hidden_size)`，其中`batch_size`为1，`sequence_length`为输入文本的长度，`hidden_size`为BERT模型的隐藏层的大小。如果需要获取整个文本的向量表示，可以对所有词向量取平均或加权平均。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值