1.中文分词原理介绍
1.1中文分词概述:
中文分词:将一个汉字序列分成一个一个的单独的词。
分词:将连续的字序列按照一定的规范重新组合成词序列的过程。
1.2中文分词方法:
一般有以下三类:基于词典匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
1.2.1 基于词典(字符串匹配、机械分词法)匹配的分词方法
按照一定的策略将待分析的汉字串与一个机器词典进行词条匹配,若在词典中找到某个字符串,则匹配成功。
按照扫描方向不同,字符串匹配分词方法可以分为正向匹配和逆向匹配;
(1)最大正向匹配法(MM,MaximumMatching Method)
假定分词词典中的最长词有i个汉字字符,用被处理文档的当前字串中的前i个字作为匹配字段,查找字典。
①若字典中存在这样的一个i字词,则匹配成功,匹配成功字段被作为一个词切分出来;
②若词典中找不到这样一个i字词,则匹配失败,将匹配字段中的最后一个字去掉;
③对剩下的字符