Transformer中tokenizer的使用：分词、token_id与token转换

最新推荐文章于 2024-07-01 01:15:35 发布
最新推荐文章于 2024-07-01 01:15:35 发布
阅读量4.8k 收藏 7
点赞数 7
分类专栏： python pytorch 文章标签： transformer pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41831274/article/details/128065603
版权
该博客介绍了如何利用transformers库中的BertTokenizer对中文文本进行分词，包括添加特殊标记和填充操作，以便于后续的注意力可视化。同时，对比了不包含填充和特殊标记的简单分词方式。内容适合于自然语言处理和深度学习的实践者。
摘要由CSDN通过智能技术生成

我们使用transformer中的tokenizer进行分词，如何获得分词后的句子呢？

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
text = '今天是个好天气，我们可以出去走走。'
token_ids = tokenizer.encode(text, max_length = 30, add_special_tokens = True, padding = 'max_length', truncation = True)
# [101, 791, 1921, 3221, 702, 1962, 1921, 3698, 8024, 2769, 812, 1377, 809, 1139, 1343, 6624, 6624, 511, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

tokened_text = tokenizer.convert_ids_to_tokens(token_ids)
# ['[CLS]', '今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。', '[SEP]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]']

这样，我们得到的 token_ids 和  tokened_text 是同样维度的，如果后续需要文本attention可视化，这样做会方便很多

当然，如果只是为了分词，也可以这样做：

tokened_text = tokenizer.tokenize(text)
# ['今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。']

只不过这样得到的分词，是不包含padding部分，以及special token的。

改完BUG再睡觉
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
hello world
11-08 8442
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
NLP文档挖宝(1)——tokenizer的诞生
天才小呵呵的博客
04-15 5360
此次推荐的文档是transformers包下tokenizer的综述性文档，它介绍了整个tokenizer的进化历程，以及tokenizer在不同预训练模型中使用的差异。对这个知识点感兴趣的朋友强烈推荐去看一下官方文档，会对整个tokenizer有更体系化的认识。
NLP-transformer学习：（3）transformer的 tokenizer
mikhailbran的博客
07-01 918
本章节主要是对 transformer 里的tokenizer 进行学习，tokenizer 比较简单，欢迎交流
huggingface的tokenizer解读
weixin_38252409的博客
01-01 1859
目前很多大模型或NLP相关模型可使用huggingface实现，是一个非常好用的集成库，特别是transformer库。而Hugging Face的Tokenizer模块是该平台的重要组成部分，主要用于文本的处理和编码。Tokenizer模块提供了各种先进的文本处理工具，包括分词、编码、解码等功能。本文将以llama模型作为tokenizer列子，介绍tokenizer相关使用内容。
tokenizers Tokenizer类
weixin_49346755的博客
06-03 4994
函数说明 Tokenizer函数构造一个分词器对象。分词方式主要有word-level、subword-level、char-level三种，其中，subword-level分词方式又有三种不同实现的方法：BPE、Unigram、WordPiece。参数model表示分词器使用的分词方式，接受一个Model对象，这里主要实现了word-level的分词方式以及subword-level的分词方式。Tokenizer类主要的方法有：1、from_file(path)：从指定文件加载Tokenizer对象。2、
Pytorch——BERT 预训练模型及文本分类（情感分类）
ASS-ASH的博客
11-02 3万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
bert 实现文字转词典Id 步骤解读，个人笔记
weixin_45691777的博客
04-18 299
初次笔记 2023/4/18 11:31。将输入转成 unicode 字符串。#文字转unicode。用bert代码中的词典。
使用transformers增加token
诸神缄默不语的博客
08-22 2630
本文介绍如何在使用transformers包的过程中添加新的token
tokenizer添加token的详细demo
weixin_38252409的博客
02-21 1085
我们在Hugging Face不同模型对应的tokenizer映射字典，不存在某些专有词汇，我们需要新增对应的token，以便我们使用对应模型处理不存在专业词汇。为此，本篇文章针对此问题，记录如何为tokenizer添加对应词汇，便于模型转换。
gpt token计算源码
02-27
4. **编码过程**: 输入文本首先通过tokenizer进行分词，然后每个token会被映射到其对应的词汇表ID。这个过程可能包括添加特殊token，如开始和结束标志，以帮助模型识别句子的边界。 5. **源码实现**: 在"**gpt2-...
人工智能-深度学习-Transformer-基于transformer的指针生成网络
最新发布
07-21
然后进入new-point-generate-zh python main.py --token_data xxx/tokenized --use_coverage --pointer_gen --do_train --do_decode xxx_toenized 是存放分词后的文件夹 #效果 rouge-1 39% rouge-2 15% rouge-l 37%
keras-bert-:使用Keras-bert实现二分类
05-11
然后，使用BERT的Tokenizer将文本转换为Token IDs，添加特殊符号[CLS]和[SEP]以适应BERT的输入格式。 2. **构建模型**：导入Keras-BERT库，并创建一个BERT模型实例。然后，添加一个Dense层，使用tanh作为激活函数，...
文本和表格数据的多模式模型，使用HuggingFace转换器作为文本数据的构建块___下载.zip
04-19
1. **数据预处理**：将表格数据和文本数据进行预处理，转换成模型可以接受的格式，比如将表格数据编码为序列，将文本数据通过tokenizer转化为Token IDs。 2. **模型架构**：设计并实现一个多模式模型，可能包括两个...
News-Analysis-For-Stock-Prediction:使用BERT变压器进行新闻分析
03-25
数据预处理可能包括清洗（去除无关字符）、分词、去除停用词、词干提取，以及使用BERT的Tokenizer将文本转换为模型可接受的输入形式，如Token IDs、Segment IDs和Attention Masks。 2. **BERT模型的加载与微调**：...
paddle基于ernie的自定义数据集文本分类
SZU_Hadooper的博客
05-28 2469
ernie是百度开发的一个预训练模型，模型结构类似bert，没错就是ernie成功带我入paddle ernie1.0在bert的基础上mask做了改进如图，后续bert也使用这种方法比如wwm的模型： ernie2.0在bert的基础上增加了更多的训练任务任务，目前还没开源 以下个人观点： 这些任务首先大致是pipeline的方法在各个任务上训练到最好，然后使用多任务训练的方法一起进行微调 ernie模型结构也是transformer应该和bert一样，只是在训练模型时增加了更多的任务。 paddle
超详细中文预训练模型ERNIE使用指南
Kaiyuan_sjtu的博客
07-31 2万+
写在前面 啊实习以后因为各种事就好久没写过博客了。最近在工作上处理的都是中文语料，也尝试了一些最近放出来的预训练模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比对之后还是觉得百度的ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。希望大家也都能在自己的项目上取得进展~ 1、A Glance at ERNIE 关于ERNIE模型本身的话这篇不会做...
【Transformers】预训练模型使用工具Transformer(2)：文本分词
让算法融入生活，改变生活！
08-28 1682
从结果中我们可以看出，结果的首位增加了特殊的token：[CLS]、[SEP]，这两个token的起着指示句首和句尾的作用；如果将这些tokens转换成字符串时，带有前缀的token会和前面的token合并，我们可以使用tokenizer的。有了上面的数据batch数据去训练或者去预测还是不够的，我们知道pytorch中有DataLoader这个类去对dataset数据进行批次化处理，方面模型训练和预测，transformers当然也有。在实际的模型微调，数据预测时，通常使用的批次数据的处理。...
Transformers 库中的 Tokenizer 使用
wtfloser的博客
06-28 2万+
使用 Transformers 库的 Tokenizer 时发现的一些问题，并给出解决措施。
bert第三篇：tokenizer
热门推荐
iterate7的博客
10-08 3万+
文章目录tokenizer基本含义bert里涉及的tokenizerBasicTokenzerwordpiecetokenizerFullTokenzierPretrainTokenizer关系图实操如何训练训练自己中文的tokenizer总结引用 tokenizer基本含义 tokenizer就是分词器； 只不过在bert里和我们理解的中文分词不太一样，主要不是分词方法的问题，bert里基本都是最大匹配方法。 最大的不同在于“词”的理解和定义。 比如：中文基本是字为单位。 英文则是subword的概念，例
使用Transformer实现一个简单基础的应用包括详细的教程与可以在pycharm 上运行的代码
06-09
好的，我可以为您提供一个使用Transformer实现文本分类任务的简单基础应用的教程和PyCharm可运行代码。 1. 数据集准备 我们使用IMDB电影评论数据集，该数据集包含50,000个电影评论，每个评论标注为正面或负面情感。我们将使用80％的数据作为训练集，20％的数据作为测试集。 首先，从以下链接下载数据集：http://ai.stanford.edu/~amaas/data/sentiment/ 将数据集解压缩到您选择的目录中。您应该会看到一个名为“aclImdb”的文件夹，其中包含“train”和“test”两个子文件夹，分别包含训练和测试数据。 我们将使用torchtext库来加载和预处理数据集。请确保已安装此库。 2. 数据处理 接下来，我们将使用torchtext库来预处理数据集。我们将使用Field对象来指定如何处理每个字段（例如文本和标签）。我们将使用TabularDataset对象来加载数据集，并将其转换为可以用于训练的迭代器。 请注意，我们使用的是预训练的语言模型（BERT）来处理文本数据。因此，我们需要使用BERT tokenizer来将文本转换为标记。我们将使用transformers库中的tokenizer。 首先，我们将定义Field对象来处理文本和标签： ```python import torchtext from transformers import BertTokenizer # Load the BERT tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # Define the text and label fields TEXT = torchtext.data.Field(batch_first=True, use_vocab=False, tokenize=tokenizer.encode, pad_token=tokenizer.pad_token_id, unk_token=tokenizer.unk_token_id) LABEL = torchtext.data.LabelField(dtype=torch.float) ``` 然后，我们将使用TabularDataset对象加载数据集，并将其转换为可以用于训练的迭代器： ```python from torchtext.datasets import IMDB train_data, test_data = IMDB.splits(TEXT, LABEL, root="./aclImdb") # Use 80% of the data for training, 20% for validation train_data, valid_data = train_data.split(split_ratio=0.8) # Create batches of size 32 for training and validation BATCH_SIZE = 32 train_iterator, valid_iterator, test_iterator = torchtext.data.BucketIterator.splits((train_data, valid_data, test_data), batch_size=BATCH_SIZE, sort_key=lambda x: len(x.text), repeat=False) ``` 3. 模型定义 接下来，我们将定义Transformer模型。我们将使用transformers库中的预训练模型（BERT）作为我们的编码器，它将输入文本转换为特征向量。我们将添加一个简单的分类器来预测情感标签。 ```python import torch import torch.nn as nn from transformers import BertModel class Transformer(nn.Module): def __init__(self): super().__init__() self.encoder = BertModel.from_pretrained('bert-base-uncased') self.classifier = nn.Linear(self.encoder.config.hidden_size, 1) def forward(self, input_ids, attention_mask): outputs = self.encoder(input_ids=input_ids, attention_mask=attention_mask) pooled_output = outputs[1] logits = self.classifier(pooled_output) return logits ``` 4. 训练模型 我们现在已经准备好训练我们的模型了。我们将使用二元交叉熵损失函数和Adam优化器。我们将使用GPU加速训练过程。 ```python device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Create the model model = Transformer().to(device) # Define the loss and optimizer criterion = nn.BCEWithLogitsLoss() optimizer = torch.optim.Adam(model.parameters()) # Define the training loop def train(model, iterator, optimizer, criterion): epoch_loss = 0 model.train() for batch in iterator: input_ids = batch.text.to(device) attention_mask = (input_ids != tokenizer.pad_token_id).type(torch.uint8).to(device) labels = batch.label.to(device) optimizer.zero_grad() logits = model(input_ids, attention_mask) loss = criterion(logits.squeeze(-1), labels) loss.backward() optimizer.step() epoch_loss += loss.item() return epoch_loss / len(iterator) # Define the evaluation loop def evaluate(model, iterator, criterion): epoch_loss = 0 model.eval() with torch.no_grad(): for batch in iterator: input_ids = batch.text.to(device) attention_mask = (input_ids != tokenizer.pad_token_id).type(torch.uint8).to(device) labels = batch.label.to(device) logits = model(input_ids, attention_mask) loss = criterion(logits.squeeze(-1), labels) epoch_loss += loss.item() return epoch_loss / len(iterator) # Train the model N_EPOCHS = 5 best_valid_loss = float('inf') for epoch in range(N_EPOCHS): train_loss = train(model, train_iterator, optimizer, criterion) valid_loss = evaluate(model, valid_iterator, criterion) if valid_loss < best_valid_loss: best_valid_loss = valid_loss torch.save(model.state_dict(), 'model.pt') print(f'Epoch: {epoch+1:02} | Train Loss: {train_loss:.3f} | Val. Loss: {valid_loss:.3f}') # Test the model model.load_state_dict(torch.load('model.pt')) test_loss = evaluate(model, test_iterator, criterion) print(f'Test Loss: {test_loss:.3f}') ``` 5. 结果分析 我们训练了一个简单的Transformer模型来执行情感分类任务。我们使用IMDB电影评论数据集进行了训练和测试，并使用二元交叉熵损失函数和Adam优化器进行了优化。 在最后一轮训练后，我们保存了具有最佳验证损失的模型，并使用它来评估测试集。最终测试损失为0.276。 您可以在PyCharm中运行上面的代码，只需在文件顶部导入所需的库即可。请确保已安装以下库：torch, transformers, torchtext。 希望这个教程对您有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值