NLP-分词综述

---

一、什么是分词？

分词是 ⾃然语⾔理解 - NLP 的重要步骤。分词就是将句⼦、段落、⽂章这种⻓⽂本，分解为以字词为单位的数据结构，⽅便后续的处理分析⼯作。

二、为什么要分词

1、将复杂问题转化为数学问题

机器学习之所以看上去可以解决很多复杂的问题，是因为它
把这些问题都转化为了数学问题。⽽ NLP 也是相同的思路，⽂本都是⼀些「⾮结构化数据」，我们需要先将这些数据转化为
「结构化数据」，结构化数据就可以转化为数学问题了，⽽分词就是转化的第一步。

2. 词是⼀个⽐较合适的粒度

词是表达完整含义的最⼩单位。字的粒度太⼩，⽆法表达完整含义，⽐如”⿏“可以是”⽼⿏“，也可以是”⿏标“。⽽句⼦的粒度太⼤，承载的信息量多，很难复⽤。⽐如”传统⽅法要分词，⼀个重要原因是传统⽅法对远距离依赖的建模能⼒较弱。”

3. 深度学习时代，部分任务中也可以「分字」

三、中英⽂分词的3个典型区别

1.分词⽅式不同，中⽂更难

英⽂有天然的空格作为分隔符，但是中⽂没有。所以如何切分是⼀个难点，再加上中⽂⾥⼀词多意的情况⾮常多，导致很容易出现歧义。

2.英⽂单词有多种形态

英⽂单词存在丰富的变形变换。为了应对这些复杂的变换，英⽂NLP相⽐中⽂存在⼀些独特的处理步骤，我们称为词形还原（Lemmatization）和词⼲提取（Stemming）；中⽂则不需要。
词性还原：does，done，doing，did 需要通过词性还原恢复成 do。
词⼲提取：cities，children，teeth 这些词，需要转换为 city，child，tooth这些基本形态。

3.中⽂分词需要考虑粒度问题

例如「中国科学技术⼤学」就有很多种分法：
中国科学技术⼤学
中国 \ 科学技术 \ ⼤学
中国 \ 科学 \ 技术 \ ⼤学
粒度越⼤，表达的意思就越准确，但是也会导致召回⽐较少。所以中⽂需要不同的场景和要求选择不同的粒度。这个在英⽂中是没有的。

四、中⽂分词的3⼤难点

五、3种典型的分词⽅法

六、分词⼯具

1.中文分词⼯具

1. Hanlp
2. Stanford 分词
3. ansj 分词器
4. 哈⼯⼤ LTP
5. KCWS分词器
6. jieba
7. IK
8. 清华⼤学THULAC
9. ICTCLAS

2.英文分词⼯具

1. Keras
2. Spacy
3. Gensim
4. NLTK