自然语言处理之中文分词器详解

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。

1基于词典分词算法

基于词典分词算法，也称为字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已经建立好的"充分大的"词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法为一下几种：正向最大匹配算法，逆向最大匹配法，最少切分法和双向匹配分词法等。

基于词典的分词算法是应用最广泛，分词速度最快的，很长一段时间内研究者在对对基于字符串匹配方法进行优化，比如最大长度设定，字符串存储和查找方法以及对于词表的组织结构，比如采用TRIE索引树，哈希索引等。

这类算法的优点：速度快，都是O(n)的时间复杂度，实现简单，效果尚可，

算法的缺点：对歧义和未登录的词处理不好。

2基于理解的分词方法

这种分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果，其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象，它通常包含三个部分：分词系统࿰