中文分词方法介绍

最近在七月在线APP刷题，这个关于中文分词的解析非常详细，就手敲一份，加深印象，也做分享。

中文分词的基本方法可以分为基于语法规则的方法、基于词典的方法和基于统计的方法。

基于语法规则的分词法基本思想是在分词的同时进行句法、语义分析，利用句法信息和语义信息来进行词性标注，以解决分词歧义现象。因为现有的语法知识、语法规则十分笼统、复杂，基于语法和规则的分词法所能达到的精确度远远还不能令人满意，目前这种分词系统应用较少。

基于词典的方法中，可以进一步分为最大匹配法、最大概率法、最短路径法等。最大匹配法指的是按照一定顺序选区字符串中的若干个自当做一个词，去字典中查找。根据扫描方式可细分为：正向最大匹配、反向最大匹配、双向最大匹配、最小切分。最大概率法指的是一个待切分的汉字串可能包含多种分词结果，将其中概率最大的那个座位该字串的分词结果。最短路径法指的是在词图上选择一条词数最少的路径。

基于统计的分词法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词。词是字的组合，相邻的字出现的次数越多，就越有可能构成一个词。因此字与字相邻共吸纳的频率或概率能够较好的翻译它们成为词的可信度。常用的方法有HMM（隐马尔科夫模型），MAXENT(最大熵模型)，MEMM(最大熵隐马尔科夫模型)，CRF（条件随机场）。