Transformer 理解Tokenizer

1.tokenizer

1.介绍

from transformers import AutoTokenizer, AutoModelForSequenceClassification
model_name = "distilbert-base-uncased-finetuned-sst-2-english"
pt_model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

transformer 中tokenizer负责预处理文本， 首先会将文本分词(或比词更细的粒度subwords，标点符号…),将分词后的每个个体叫做tokens。然后会转化成一个一个id通过一个查询表(look-up table)

transformer中有三种主要的tokenizers ：Byte-Pair Encoding (BPE), WordPiece, and SentencePiece
比如BertTokenizer就是用的WordPiece

对英文文本分词比想象的难，举例，对下面这句话分词

如果按照空格分词，会得到

可以看到标点符号黏在词的后面 “Transformers?” 还有“do.”
所以要将标点符号考虑进来，进行分词。

但是对于“Don’t” 这个词又没切好，最好将其切成["Do","n't"]
可以看到切词并不简单，要清楚的是每个模型都有其专属的tokenizer，分词规则。
与训练模型只有在使用相同分词规则的tokenizer时才会表现的好。

spaCy和Moses是两个主流的基于规则的分词器，使用这两个分词器进行分词的结果如下

可以看出，这里使用了空间和标点分词以及基于规则的分词。 空间和标点分词和基于规则的分词都是单