分词
什么是分词
分词是 ⾃然语⾔理解 NLP 的重要步骤。分词就是将句⼦、段落、⽂章这种⻓⽂本,分解为以字词为单位的数据结构
,⽅便后续的处理分析⼯作。
分词的作用
1、将复杂问题转化为数学问题
机器学习之所以看上去可以解决很多复杂的问题,是因为它把这些问题都转化为了数学问题。⽽ NLP 也是相同的思路,⽂本都是⼀些「⾮结构化数据
」,我们需要先将这些数据转化为「结构化数据
」,结构化数据就可以转化为数学问题了
,⽽分词就是转化的第一步。
2、词是一个比较合适的粒度
词是表达完整含义的最⼩单位。字的粒度太⼩,⽆法表达完整含义,⽐如”⿏“可以是”⽼⿏“,也可以是”⿏标“。⽽句⼦的粒度太⼤,承载的信息量多,很难复⽤。⽐如”传统⽅法要分词,⼀个重要原因是传统⽅法对远距离依赖的建模能⼒较弱。”
中英文分词的区别
1.分词方式不同,中文更难
英⽂有天然的空格作为分隔符,但是中⽂没有。所以如何切分是⼀个难点,再加上中⽂⾥⼀词多意的情况⾮常多,导致很容易出现歧义。
2.英文单词有多种形态
英⽂单词存在丰富的变形变换。为了应对这些复杂的变换,英⽂NLP相⽐中⽂存在⼀些独特的处理步骤,我们称为词形还原(Lemmatization)和词⼲提取(Stemming);中⽂则不需要。
词性还原:does,done,doing,did 需要通过词性还原恢复成 do。
词⼲提取:cities,children,teeth 这些词,需要转换为 city,child,tooth这些基本形态。
3.中文分词需要考虑粒度问题
例如「中国科学技术⼤学」就有很多种分法:
中国科学技术⼤学
中国 \ 科学技术 \ ⼤学
中国 \ 科学 \ 技术 \ ⼤学
粒度越⼤,表达的意思就越准确,但是也会导致召回⽐较少
。所以中⽂需要不同的场景和要求选择不同的粒度。这个在英⽂中是没有的。