深度学习-19-深入理解并训练自己的Tokenizer分词器

1 tokenization是什么

任何一段文本，输入给模型，都是要转换成一串embedding。
这个过程简单概括为：
(1)分词，并把词转换为token（即词的ID）
(2)token转换成embedding

而tokenization就是在做这第一步。

而对于第二步就是常见的Embedding查表操作，即根据token_id的值，去Embedding矩阵中查找第token_id行的数据作为embedding。

对于以下文本：你好，我的小名是小明

2 Tokenization方法简介

子词Tokenization(可以理解为分词)在很多SOTA NLP模型上得到广泛的使用，包括BERT和GPT-3。
它能很有效的处理未登陆词。

2.1 单词级的Tokenization

假设我们有一个训练数据集。
我们从这个训练数据集中构建一个词表。
为了构建该词表，我们将数据集中的