【漫话机器学习系列】235.切分文本（Tokenize Text）

自然语言处理的第一步：切分文本（Tokenize Text）详解

在自然语言处理（NLP）中，切分文本（Tokenization） 是我们面对原始文本时必须迈出的第一步。它决定了我们如何理解和处理语言，是几乎所有 NLP 流程的基础。

本文将从定义、原理、常见方法、中文处理注意事项等多个角度，带你彻底掌握「切分文本」这一关键步骤。

---

什么是切分文本（Tokenize Text）？

切分文本（Tokenization）就是将文本分割为一个个有意义的基本单位（称为“token”），这些单位可以是：

• 单词（word）

• 子词（subword）

• 字符（character）

• 句子（sentence）

• 段落（paragraph）

在图中示例中，“我喜欢小鸟” 被切分为：

“我”， “喜欢”， “小鸟”

这就是一种基于“词”的切分方式。

---

为什么需要切分文本？

机器无法直接理解人类语言。为了让文本能被输入到模型中，我们必须将其转化为数值表示（如词向量）。但在此之前，需要先将原始文本拆分成最小语义单位，也就是 token。

没有正确的 token，词向量、语法分析、情感分析、问答系统等后续操作都会变得混乱甚至失败。

---

常见的切分方法

根据语言和处理目标不同，切分方法也不同：

英文中的切分

英文天然以空格分词，可以使用如下工具：

• split() 函数：最简单的空格分割。

• NLTK：nltk.word_tokenize(text)

• spaCy：nlp(text) 的 .tokens

• 正则表达式（Regex）：按标点或字母匹配

例子：

import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize

text = "I love birds."
tokens = word_tokenize(text)
# ['I', 'love', 'birds', '.']

---

中文中的切分

中文没有天然的空格，必须依赖分词工具来识别词边界。

常用工具：

• jieba：最常用，轻量、准确率高

• THULAC：清华大学出品，分词+词性标注

• HanLP：支持多种模型切换

• pkuseg：北大开发，适合专业场景（如旅游、医学等）

示例（jieba）：

import jieba

text = "我喜欢小鸟"
tokens = list(jieba.cut(text))
# ['我', '喜欢', '小鸟']

---

子词切分（Subword Tokenization）

在现代深度学习 NLP 模型中（如 BERT、GPT），更多采用子词切分算法，如：

• BPE（Byte-Pair Encoding）

• WordPiece

• SentencePiece

这些方法的好处在于：

• 能处理未登录词（OOV）

• 词表更紧凑，支持更高效的模型训练

例如，BERT 可能会把 unbelievable 切成：

["un", "##believ", "##able"]

---

切分粒度的选择

选择哪种 token 粒度，取决于任务类型：

任务类型	建议切分粒度
情感分析	单词或词组
命名实体识别	单词或子词
文本生成	子词或字符
拼写纠错	字符级
中文搜索推荐	词语或字

---

中文切分的挑战

中文切分不像英文那样天然简单，存在几个难点：

1. 多义词：如“研究生物”到底是“研究 生物”还是“研究生 物”？

2. 新词识别：如网络热词“内卷”“打工人”，不在词典中。

3. 歧义句子：如“他毕业于上海交通大学计算机系”，需要正确断句。

这些都要求分词工具有良好的上下文感知能力，必要时可以训练自己的分词模型。

---

Tokenize 实践：从文本到模型的第一步

整条 NLP 任务链条通常如下：

原始文本 → Tokenize → 编码 → 向量化 → 模型训练

切分文本的质量会直接影响最终的结果，是模型效果的基础保障。

---

小结

切分文本（tokenization）并不只是简单地分词，而是构建整个 NLP 系统的地基：

• 是数据预处理的第一步；

• 是语言理解的桥梁；

• 是现代大模型中不可或缺的环节。

希望你在看到“我喜欢小鸟”切分成“我”、“喜欢”、“小鸟”这一刻，能明白一个 NLP 系统的大门已经打开。

---

如果你觉得本文对你有帮助，欢迎点赞、收藏、留言交流 ！