深度学习——LLM大模型分词

1. 前言

自从chatgpt出现，大模型的发展就进入了快车道，各种各样的大模型卷上天，作为一个在大模型时代的科研人，即使你不向前，也会被时代裹挟着向前，所以还是自己走快一点比较好，免得被后浪拍死在沙滩上。对于我而言，写文章更多的是对知识的总结和回顾，当然如果我的文章能够对你的学习有所帮助我也是挺开心的。

这篇文章主要参考B站上的这位大神的视频以及Huggingface上的总结
B站视频LLM分词
Huggingface Tokenizers

另外大家也可以通过这个分词网站来玩一下分词：https://tiktokenizer.vercel.app
这里放上一张思维导图，方便大家理解整篇文章的脉络。

2. Token,Tokenization和Tokenizer的概念

首先，什么是Token?什么是Tokenization? 什么又是Tokenizer
Token：是文本数据的基本单元也即词元，通常表示一个词、子词或字符.
Tokenization:Tokenization中文翻译为分词，是将原始文本字符串分割成一系列Token的过程。这个过程可以有不同的粒度，比如单词级别分词(Word-based Tokenizer)、字符级别分词(Character-based Tokenizer)和子词级别分词(Subword-based Tokenizer)。
Tokenizer: 是将文本切分成多个tokens的工具或算法
另外再NLP中我们经常会遇到一个词OOV（Out Of Vocabulary),意思是有些单词在词典中查询不到，例如一些根据词根现造的词，或者拼写错误的词等

接下来，我们首先介绍两种比较容易理解的分词Word-based Tokenizer 和Character-based Tokenizer

3. Word-based Tokenizer

Word-based Tokenization 是将将文本划分为一个个词（包括标点）

我们以这句话为例："Don't you love 🤗 Transformers? We sure do."

一种最简单的方法是通过空格进行划分：

["Don't", "you", "love", "🤗", "Transformers?", "We", "sure", "do."]

在这种划分下，标点和单词是粘在一起的： ["Transformers?","do."]，，如果把标点也作为一个词的话，可以进一步划分：

["Don", "'", "t", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]

但是这里的Don't 应该被划分为Do,n't,引入规则之后事情就变得复杂起来了。

英文的划分有两个常用的基于规则的工具spaCy 和 Moses,划分如下：

["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]

使用Word-base Tokenizer，
优点是：符合人的自然语言和直觉。
缺点是: ①相同意思的词被划分为不同的token,比如：dog和dogs ② 最终的词表会非常大

因此我们可以设置词表上限比如上限为10000，未知的词用Unkown表示

但是这样会损失大量的信息，模型性能大打折扣！

4. Character-based Tokenizer

Character-based Tokenizer 将文本划分为一个个字符（包括标点）。
我们以这个例子为例： Today is Sunday.

按照Character 划分，我们可以得到

["T","o","d","a","y","i","s","S","u","n","d","a","y"]

使用Character-based Tokenizer 划分的优点是
① 大大减少了词汇量，在256个ASCII码表示的范围内
② 可以表示任意字符，不会出现unkown的情况
缺点是
①字母包含的信息量低，一个字母"T” 无法知道它具体指代的是什么，但如果是"Today"语义就比较明确
②相对于Word-based Tokenizer ，会产生很长的token序列
③如果是中文，依然会有很大的词汇量

5. Subword-based Tokenizer

在了解了Word-based Tokenizer和Character-based Tokenizer之后，我知道它们各有优缺点，接下来要介绍的Subword-based Tokenizer 则是这两种方法的折中。

Subword-based Tokenizer有BPE/BBPE,Unigram,WordPiece和SentencePiece,这些分词算法在下列模型中有应用

5.1 BPE/BBPE

5.1.1 BPE

BPE分词最早在 Neural Machine Translation of Rare Words with Subword Units (Sennrich et al.2015)中提出.BPE分为两部分“词频统计”和“词表合并”。词频统计依赖于一个预分词器(pre-tokenization)将训练数据分成单词。预分词器可以非常简单，按照空格进行分词。例如GPT2，RoBERTa等就是这样实现的，更高级的预分词器引入了基于规则的分词，例如XLM，FlauBERT 使用Moses， GPT 使用spaCy 和 ftfy来统计语料中每个单词的词频。

在预分词之后，创建一个包含不同单词和对应词频的集合，接下来根据这个集合创建包含所有字符的词表，再根据合并规则两两合并形成一个新字符，将频率最高的新字符加入词表，直到达到预先设置的数量，停止合并。

仅仅讲概念可能会比较抽象，我们这里举个例子：

假设在预分词（一般采用Word-based Tokenization）之后,得到如下的包含词频的集合：

("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)

因此，基本词汇表是这样的：["b", "g", "h", "n", "p", "s", "u"] ,将所有单词按照词汇表里的字符切割得到如下形式：

("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)

接下来统计相邻的两个字符组成的字符对的出现的频率：

ug出现了20次，出现次数最高，因此把ug加入词汇表，并将出现在一起的u,g用ug替换，然后在此统计词频un出现的频率最高，将un加入到词表，并将出现在一起的u,n用un替换。

接着进行第三次

假设基本词汇有478个，经过了40000次合并就有40478个，然后我利用这个词表进行分词，对于不在词表中的设置为特殊词<unk>

5.1.2 BBPE

重点介绍一下BBPE ，因为GPT2，GPT3,GPT4和LLaMA用的就是它，BBPE即 Byte-level BPE

5.2 Unigram

5.3 WordPiece

5.4 SentencePiece

BPE、WordPiece、Unigram 的缺点:
①假设输入文本使用空格来分隔单词，但并非所有语言都使用空格来分隔单词（如中文、韩文、日文、阿拉伯语)
②可以使用特定语言的pre-tokenizer 分词，但不太通用
为解决这个问题，SentencePiece将输入视为输入字节流，包括空格 然后搭配BBPE和Unigram来使用

参考文献

简介NLP中的Tokenization（基于Word,Subword 和 Character）
https://zhuanlan.zhihu.com/p/620603105
https://blog.csdn.net/zhaohongfei_358/article/details/123379481
LLM大语言模型之Tokenization分词方法