Transformers -- 未知英雄 - Part2

公众号：Halo咯咯，欢迎关注~

前文回顾：

• Part1. Transformers —— 以通俗易懂的方式解释-Part 1

---

在第一部分中，我提到了“单词”这一概念，但请注意，这仅仅是为了表述上的便利。实际上，“令牌”（token）这一术语更为精确。接下来，我们将探讨标记化（tokenization）的含义以及各种模型是如何运用各自的标记化机制的。

标记化是自然语言处理中的一项基本技术，它涉及将文本序列分解成模型能够理解的单个单元，这些单元可以是单词、子词或标记。在构建大型语言模型（LLMs）时，采用如BPE（Byte Pair Encoding）或WordPiece等子词算法进行标记化尤为重要。这些算法能够将文本分割成更小的、有意义的单元，从而捕获广泛存在的常用词汇以及较少见的词汇。

通过这种方法，模型的词汇量得以有效控制，同时又能保持其对各种文本序列的表征能力。这对于处理多样化的文本数据集至关重要，因为它确保了模型具有足够的灵活性来处理各种不同的语言表达，无论是常见的还是罕见的。