Pytorch：BertModel使用

最新推荐文章于 2024-05-23 15:42:55 发布
最新推荐文章于 2024-05-23 15:42:55 发布
阅读量1.8w 收藏 45
点赞数 7
分类专栏： 信息科学 文章标签： Pytorch Bert 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wangpeiyi9979/article/details/89191709
版权

文章目录

基本介绍

  • 环境: Python 3.5+, Pytorch 0.4.1/1.0.0
  • 安装:
pip install pytorch-pretrained-bert
  • 必需参数:
    • --data_dir: "str": 数据根目录.目录下放着,train.xxx/dev.xxx/test.xxx三个数据文件.
    • --vocab_dir: "str": 词库文件地址.
    • --bert_model: "str": 存放着bert预训练好的模型. 需要是一个gz文件, 如"..x/xx/bert-base-chinese.tar.gz ", 里面包含一个bert_config.json和pytorch_model.bin文件.
    • --task_name: "str": 用来选择对应数据集的参数,如"cola",对应着数据集.
    • --output_dir: "str": 模型预测结果和模型参数存储目录.

简单例子:

  • 导入所需包
import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM
  • 创建分词器
tokenizer = BertTokenizer.from_pretrained(--vocab_dir)
  • 需要参数: --vocab_dir， 数据样式见此
  • 拥有函数:
    • tokenize: 输入句子，根据--vocab_dir和贪心原则切词. 返回单词列表
    • convert_token_to_ids: 将切词后的列表转换为词库对应id列表.
    • convert_ids_to_tokens: 将id列表转换为单词列表.
text = '[CLS] 武松打老虎 [SEP] 你在哪 [SEP]'
tokenized_text = tokenizer.tokenize(text)
indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)
segments_ids = [0, 0, 0, 0, 0, 0, 0,0,0,0, 1,1, 1, 1, 1, 1, 1, 1]
tokens_tensor = torch.tensor([indexed_tokens])
segments_tensors = torch.tensor([segments_ids])

这里对标记符号的切词似乎有问题([cls]/[sep])， 而且中文bert是基于字级别编码的，因此切出来的都是一个一个汉字:

['[', 'cl', '##s', ']', '武', '松', '打', '老', '虎', '[', 'sep', ']', '你', '在', '哪', '[', 'sep', ']']
  • 创建bert模型并加载预训练模型:
model = BertModel.from_pretrained(--bert_model)
  • 放入GPU:
tokens_tensor = tokens_tensor.cuda()
segments_tensors = segments_tensors.cuda()
model.cuda()
  • 前向传播:
encoded_layers, pooled_output= model(tokens_tensor, segments_tensors)
  • 参数:
    • input_ids: (batch_size, sqe_len)代表输入实例的Tensor
    • token_type_ids=None: (batch_size, sqe_len)一个实例可以含有两个句子，这个相当于句子标记.
    • attention_mask=None: (batch_size*): 传入每个实例的长度，用于attention的mask.
    • output_all_encoded_layers=True: 控制是否输出所有encoder层的结果.
  • 返回值:
    • encoded_layer：长度为num_hidden_layers的(batch_size， sequence_length，hidden_size)的Tensor.列表
    • pooled_output: (batch_size, hidden_size), 最后一层encoder的第一个词[CLS]经过Linear层和激活函数Tanh()后的Tensor. 其代表了句子信息

参考

无聊的人生事无聊
关注
  • 7
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
基于Pytorch的动手学习Bert+FC的文本分类模型
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
08-05 1841
parser.add_argument(’–model’, type=str, default=‘Bert’, help = ‘choose a model’)中default='Bert’表示调用Bert.py。其中self.bert_path = ‘bert_pretrain’，需要带入对应的Bert预训练的模型。需要衰减的’weight_decay’:0.01’，不需要衰减的’weight_decay’:0.0’bert的训练需要传入相应的(ids, seq_len, mask)......
BertModel和BertForMaskedLM使用介绍
weixin_42223207的博客
05-28 9429
BertModel和BertForMaskedLM使用介绍 在transformers中有BertModel和BertForMaskedLM这个类，直接调用。在实体抽取，文本分类等任务中常用使用的是BertModel获取句子的embedding 向量，BertForMaskedLM可以得到mask处的文字，最近在做一个任务遇到了BertForMaskedLM的使用，记录一下。 BertModel torch 代码如下 import torch from transformers import BertMod
【Transformers】BertModel模块的输入与输出
让算法融入生活，改变生活！
05-20 1万+
背景 通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/. 如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章：【NLP】BERT(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)阅读与总结. BertMod
bert-base-chinese 下载
最新发布
weixin_43415514的博客
05-23 339
bert-base-chinese
BERT |（3）BERT模型的使用--pytorch的代码解释
qq_40276310的博客
03-13 1万+
参考代码：https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务，具体就是做新闻文本分类的任务，具体有以下几个类，属于多分类的问题 目录 一、如何让你下载的代码跑起来 二、bert模型的使用 模型代码学习-CLS文本分类-Bert-Chinese-Text-Classification-Pytorch代码学习-训练并测试过程 模型代码学习-CLS文本分类-Be
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
BERT Word Embeddings 教程
ningyanggege的博客
02-28 3905
本篇文章译自 Chris McCormick 的BERT Word Embeddings Tutorial 在这篇文章，我深入研究了由Google的Bert生成的word embeddings，并向您展示了如何通过生成自己的word embeddings来开始Bert。 这篇文章有两种形式——一种是博客文章，另一种是colab的notebook。 介绍 历史 2018年是NLP取得突破性进...
基于pytorch的谷歌自然语言处理模型BERT代码实现
03-25
本篇文章将聚焦于如何使用PyTorch这一深度学习框架来实现BERT模型，并进行实际的应用。 **一、BERT模型简介** BERT的核心思想是利用Transformer架构的双向上下文信息，通过预训练和微调两个阶段，让模型学习到语言...
PyPI 官网下载 | pytorch_pretrained_bert-0.3.0.tar.gz
01-29
`pytorch_pretrained_bert`是用于PyTorch的一个实现BERT的库，由Hugging Face团队开发，它提供了一套完整的工具，方便用户在PyTorch环境中加载和使用预训练的BERT模型。此库包含多种预训练模型，如BERT-base和BERT-...
Reimplement CasRel model in PyTorch.使用PyTorch对吉林大学CasRel模型.zip
03-06
例如，你可以使用`from transformers import BertModel, BertTokenizer`来加载BERT模型及其对应的tokenizer。 接下来是模型的自定义部分。CasRel模型通常会添加额外的层来处理关系分类任务，比如在Transformer的...
Hugging Face实战（NLP实战/预训练模型/分词器/模型自动选择/PyTorch版本/代码逐行解析）上篇之模型调用
07-12
在本篇中，我们将深入探讨如何使用Hugging Face的Transformers库进行自然语言处理（NLP）实战，特别是在PyTorch环境下对预训练模型的调用、理解和微调。Transformers库是当前NLP领域最热门的工具之一，它包含了各种...
bert-base-uncased-pytorch_model.bin
05-08
model = BertModel.from_pretrained('./path/to/pytorch_model.bin') # 示例：对一段文本进行编码 inputs = tokenizer("这是一个示例文本", return_tensors="pt") # 通过模型进行前向传播 outputs = model(**...
bert模型的输出
junjian Li
12-30 9981
bert模型的输出可以包括四个： last_hidden_state：torch.FloatTensor类型的，最后一个隐藏层的序列的输出。大小是(batch_size, sequence_length, hidden_size) sequence_length是我们截取的句子的长度，hidden_size是768. pooler_output： torch.FloatTensor类型的，[CLS]的这个token的输出，输出的大小是(batch_size, hidden_size) hidden_sta
Bert使用之一_基本使用
IMchg的博客
11-21 5084
Bert使用参考： https://blog.csdn.net/c991262331/article/details/89381972 https://zhuanlan.zhihu.com/p/50773178 https://www.jiqizhixin.com/articles/2018-11-01-9 一 Demo from pytorch_pretrained_bert import BertTokenizer,BertModel import torch # bert_tokenizer =.
【自然语言处理NLP】Bert预训练模型、Bert上搭建CNN、LSTM模型的输入、输出详解
weixin_44624036的博客
06-24 7705
通过使用不同宽度的卷积核，模型能够同时捕捉不同范围的语义信息，从而提高模型对输入文本的理解能力。是一个与输入张量形状相同的二进制张量（0和1组成），用于指示哪些位置是有效的（1表示有效）和哪些位置是填充的（0表示填充）。令牌的表示可以用作整个序列的汇总或句子级别的表示，通常用于下游任务的分类或句子级别的特征提取。这些属性提供了BERT模型在不同层级和注意力机制上的输出信息，可以根据任务的需求选择合适的属性来使用。，表示模型在每个位置上关注另一个输入序列（如句子级别的任务中的两个句子）的程度。
代码中bert的输入和输出
目标：NLP算法工程师
12-12 7585
Inputs: `input_ids`: a torch.LongTensor of shape [batch_size, sequence_length] with the word token indices in the vocabulary(see the tokens preprocessing logic in the scripts `extract_features.py`, `run_classifier.py` and `run_squad.py`
pytorch 中加载 bert 模型, 获取 词向量
znsoft的专栏
08-01 2万+
import torch from transformers import BertTokenizer, BertModel #MODELNAME='hfl/chinese-bert-wwm-ext' #ok #MODELNAME ='hfl/chinese-bert-wwm' #ok #MODELNAME='hfl/rbt3'#ok #MODELNAME='hfl/rbtl3'#ok #MODELNAME='hfl/chinese-roberta-wwm-ext-large' #ok MODELNAME.
Bert-pytorch-英文文本多分类
BITCCK的博客
04-28 1144
Bert-pytorch实现英文文本多分类
PyTorch中Module类的使用方法，模型中参数的添加与获取以及保存与载入模型
qq_39332551的博客
05-24 1526
1 Module类的使用方法 1.1 add_module()方法 可以使用该方法向模型中添加层，示例如下： self.Linear1 = nn.Linear(inputdim,hiddendim) self.add_module("Linear1", nn.Linear(inputdim,hiddendim)) 这两行代码是等价的，都可以向模型里添加两个全连接层。 1.2 获取模型中各层的信息 1.2.1 children()方法和named_children()方法 for modu
pytorch使用bert
04-04
PyTorch使用BERT（Bidirectional Encoder Representations from Transformers）是一种自然语言处理（NLP）模型，它基于Transformer架构，并且在预训练阶段使用了大量的无标签文本数据。下面是使用PyTorch实现BERT的一般步骤： 1. 安装PyTorch和Transformers库：首先，你需要安装PyTorch和Transformers库。可以通过pip命令来安装它们： ``` pip install torch pip install transformers ``` 2. 加载预训练的BERT模型：使用Transformers库中的`BertModel`类来加载预训练的BERT模型。你可以选择不同的预训练模型，如BERT-base或BERT-large。加载模型的代码如下： ```python from transformers import BertModel model = BertModel.from_pretrained('bert-base-uncased') ``` 3. 准备输入数据：BERT模型接受输入数据的格式是tokenized的文本序列。你需要将文本转换为对应的token，并添加特殊的标记，如[CLS]和[SEP]。可以使用Transformers库中的`BertTokenizer`类来完成这个任务： ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') text = "Hello, how are you?" tokens = tokenizer.tokenize(text) input_ids = tokenizer.convert_tokens_to_ids(tokens) ``` 4. 输入数据编码：将输入数据编码为模型可以接受的形式。BERT模型需要输入的是token的索引序列，以及每个token的attention mask和segment mask。可以使用Transformers库中的`BertTokenizer`类的`encode_plus`方法来完成编码： ```python encoding = tokenizer.encode_plus( text, add_special_tokens=True, max_length=512, padding='max_length', truncation=True, return_attention_mask=True, return_token_type_ids=True, return_tensors='pt' ) input_ids = encoding['input_ids'] attention_mask = encoding['attention_mask'] token_type_ids = encoding['token_type_ids'] ``` 5. 使用BERT模型进行预测：将编码后的输入数据传递给BERT模型，即可进行预测。可以使用PyTorch的`torch.no_grad()`上下文管理器来关闭梯度计算，以提高推理速度： ```python with torch.no_grad(): outputs = model(input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids) # 获取模型输出 last_hidden_state = outputs.last_hidden_state ``` 以上是使用PyTorch实现BERT的一般步骤。你可以根据具体的任务和需求对模型进行微调或进行其他操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值