自然语言处理中的分词问题总结

众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。本文转载自明略研究院的技术经理牟小峰老师讲授的语言处理中的分词问题。

如何界定分词  

中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程；在英文中，单词之间是以空格作为自然分界符，汉语中词没有一个形式上的分界符。(见百度百科) 正因为缺乏形式上的分界符，导致我们对词的认定会出现很大的偏差。1996 年 Sproat 等通过对 6 个母语为汉语的人进行调研，让这 6 人对同一篇中文文本进行人工切分，文本包括 100 个句子，最后统计认同率，见下表：

 

图1

不仅普通人有词语认识上的偏差，即使是语言专家，在这个问题上依然有不小的差异，这种差异反映在分词语料库上。不同语料库的数据无法直接拿过来混合训练。

以前曾经出过分词规范 (GB13715)，以“结合紧密，使用稳定”作为分词建议，后来发现这个建议弹性太大，不同的人有不同的理解，无法有效实施。

为了统一对词语的认识，现在主要通过“分词规范、词表、分词语料库”来使得词语切分可计算，例如北大的“词语切分与词性标注”规范。基于上述种种工作，可以把词语切分问题变得可操作和标准化，大家在统一的平台上进行实验和比较。

对分词的诉求是什么？  

从已有工程经验来看，几乎不存在通用而且效果非常好的分词系统，例如：在人民日报上训练的分词系统，在二次元的魔幻小说上切分效果不佳。每个领域有其独特的词汇表示，这很难通过有限的训练数据捕捉到所有语言现象。

不用使用场景对分词的要求差异很大。在搜索的索引阶段，往往会召回所有可能切分结果，对切分准确率要求不高，但对分词速度有很高的要求，例如某中型搜索系统，每天 4000 万篇文章入库，每秒要处理 500 篇文档，每秒处理的文档字节数约有 50MB；如果分词系统太慢的话，需要开大量线程才能处理这些文档。

在问答系统中，需要对文本实现较为深入的理解，对分词和实体识别的准确性要求很高。

不用的使用场景，对分词提出了不同的要求，不需要片面地追求高准确率。

别家系统的准确率怎么这么高？  

在分词系统研发中，最容易产生误解的就是比较系统准确率。系统准确率与训练数据非常相关，脱离数据而谈论准确率无异于“刷流氓”。2003 年 863 分词评测中就出现了 98% 的准确率，2007 年 Sighan 评测中最高准确率是 97%，在最近某司组织的评测中，最高准确率下降到了 94%。所有不同数据下的评测结果都不能直接比较高低。

 

现在吹嘘分词准确率的公司和单位越来越少了。

分词稳定性很重要  

分词稳定性是指分词系统的输出在不同上下文下都比较稳定，不会出现明显被上下文影响的情况。例如，在下面句子中，“黄代恒”有时识别为人名，第二次出现未识别出来：

实战 分享 三 黄代恒 /nr 与 轨道 交通 ： 软硬 结合 到 人机 结合  黄代恒 “ 在 不同 的 客户 场景 下 ， 我们 用 三 种 技术 实现 轨道 交通 的 数据 洞察

一般纯统计分词系统的稳定性比不上基于词典实现的分词系统。在搜索中，分词稳定性非常重要，否则极容易出现查询不到的情况。

已有分词系统小结  

分词大概是投入人力非常大的 NLP 方向，几乎每一家“有追求”的公司都有员工实施过类似的任务，而且反复迭代更新；在 NLP 研究界，这个问题从上个世纪 80 年代就已经开始探索，一直到 ACL 2017 仍然有这方面的论文 (有 4 篇丛神经网络角度探索分词的文章)。

如此多的人力投入到分词理论研发和工程研发中，产生了一批各有特色的分词系统。下面仅仅就本人接触到的系统作说明 (排名无先后)，比较“古老”的系统不在此罗列：

 

图2

IK 系统  

该系统采用 JAVA 开发，实现逻辑不复杂，由于对 Lucene 和 ES 支持较好，因而得到了比较普遍的使用。该系统可以实现英文单词、中文单词的切分，OOV 识别能力不强。该系统有几种使用模式，