【NLP基础知识系列课程-Tokenizer的前世今生第一课】Tokenizer 是什么？为什么重要？

语言的“颗粒度”：我们到底在切什么？

我们都知道模型要处理文本，第一步是把一段段字符变成“token”。但这些 token 究竟应该是句子、单词，还是更小的片段，比如“un + break + able”？

这背后涉及的是一个非常核心的问题：我们到底用什么单位来让模型“看懂”语言？这个单位，就叫做 token，而设计这个单位的方式，就是 tokenizer。

Tokenizer 就像语言世界的切割刀，它决定了模型从多大、从哪里开始理解文本。粗了，信息不够细；细了，理解变得困难。

---

Tokenizer 的作用：不仅是切词，更是理解的“格式”

我们不妨打个比方：如果把语言模型比作人脑，那 tokenizer 就是它的“眼睛”。一双合适的眼睛，能帮助我们快速捕捉信息；而模糊不清的视野，只会增加理解的负担。

当你读到“unbelievable”，你可以立刻意识到它是“un + believe + able”构成的，这种构词结构能让你快速理解它的意思。如果 tokenizer 能切出这样的结构，模型自然也能更快学到“构词法”。

而如果 tokenizer 把它切成了“u + n + b + …”，模型可能就要花更多精力才能拼凑出“哦，这是一个否定+动词+形容词构成的词”。

---

多种颗粒度下的 Tokenizer

颗粒度	示例	优点	缺点	常见应用模型
句子级	“今天天气真不错。”	结构清晰，语言自然单位	无法细致建模，严重OOV问题	早期RNN、规则模型
单词级	“unbelievable”	易懂，训练快	新词无能为力	Word2Vec、GloVe
子词级	“un + believe + able”	词表小，无OOV，语义较好	切分复杂，训练有偏	BERT, GPT, T5 等
字符级	“u + n + b + …”	跨语言能力强，无需词表	序列太长，学习难	CANINE、ByT5
字节级	“\x75 \x6e \x62 …”	统一所有输入类型，无任何限制	表达太原始，需要大模型配合	GPT-2、tiktoken
区域级（图像）	图像划分的 Patch（如ViT）	可以对图像输入统一处理	不一定与语言token天然对齐	CLIP, BLIP, Flamingo 等

我们可以看到，从语义结构最强的“句子”到最原始的“字节”，Tokenizer 划分的单位越小，信息越精细，但模型所承担的“组合理解”任务也越大。

---

Tokenizer 是怎么“切”的？

除了“切多大”，另一个问题是“怎么切”。有两种主要方式：

自下而上（从细到粗）

这是像 BPE、WordPiece 采用的方式。它们会从字符出发，看哪些字符经常一起出现，就把它们合并成一个 token。

比如：

• “t” + “h” = “th”
• “th” + “e” = “the”

这就像小朋友拼积木：经常拼在一起的，就变成一个新块。

自上而下（从粗到细）

UnigramLM 则反其道而行之：先给出一个大词表，然后剪掉那些“不太重要的”子词。

这种方式的好处是：

• 可以保留多种切分方式
• 允许在训练中做“随机切分”，增强模型泛化能力

它特别适合像中文、日文这种没有空格的语言。

自动学习（可学习的Tokenizer）

最近的趋势是：让模型自己学！

例如：MxDNA 会让模型自己决定“这个DNA序列该怎么切”，而不是你提前设定好。LaVIT 等多模态模型甚至可以自动学习图像要分几个 token。

这说明：Tokenizer 已经不只是静态规则，而是可以作为模型的一部分，由数据驱动学习得来。

---

小结：Tokenizer 是理解的设计哲学

一句话总结：Tokenizer 决定了模型“看到什么”。

它不是辅助工具，而是模型理解世界的基础。就像你戴什么样的眼镜，会直接影响你对世界的观察方式。

后续我们会聊：

• NLP 的 Tokenizer 是如何一步步演化出来的？
• 多模态中，图像、音频也能被“切”吗？
• 在蛋白质、基因这类序列中，我们如何找到合适的“token”？

Tokenizer，从此不只是“切词”的代名词。