Transformer 理解Tokenizer

最新推荐文章于 2024-11-01 20:22:48 发布

语译分西

最新推荐文章于 2024-11-01 20:22:48 发布

阅读量8.9k

点赞数 8

分类专栏：文本挖掘，情感分类

本文链接：https://blog.csdn.net/weixin_42167712/article/details/110727139

版权

本文详细介绍了Transformer模型中的分词技术，包括Tokenizer的作用、WordPiece、Byte-Pair Encoding (BPE)、Byte-level BPE、Unigram和SentencePiece等Subword Tokenization算法。解释了为何要使用Subword Tokenization以及各算法的工作原理和优缺点，以帮助理解如何处理文本分词中的挑战。

摘要由CSDN通过智能技术生成

文章目录

1.tokenizer

1.tokenizer

1.介绍

from transformers import AutoTokenizer, AutoModelForSequenceClassification
model_name = "distilbert-base-uncased-finetuned-sst-2-english"
pt_model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

transformer 中tokenizer负责预处理文本，首先会将文本分词(或比词更细的粒度subwords，标点符号…),将分词后的每个个体叫做tokens。然后会转化成一个一个id通过一个查询表(look-up table)

transformer中有三种主要的tokenizers ：Byte-Pair Encoding (BPE), WordPiece, and SentencePiece
比如BertTokenizer就是用的WordPiece

对英文文本分词比想象的难，举例，对下面这句话分词
在这里插入图片描述

如果按照空格分词，会得到
在这里插入图片描述
可以看到标点符号黏在词的后面 “Transformers?” 还有“do.”
所以要将标点符号考虑进来，进行分词。

但是对于“Don’t” 这个词又没切好，最好将其切成["Do","n't"]
可以看到切词并不简单，要清楚的是每个模型都有其专属的tokenizer，分词规则。
与训练模型只有在使用相同分词规则的tokenizer时才会表现的好。