一般经常使用的分词算法汇总:
1、基于字符串匹配的分词算法(机械分词算法),按照一定的策略将待分析字符串与“充分大的”机器字典中的词条进行匹配,基于字符串匹配的分词方法主要是正向匹配和逆向匹配,按照长度不同优先匹配可以分为:最大最长匹配和最小最短匹配。这种方法主要是依据字典进行匹配,逐词遍历,词条的选择影响分词的效果。
2、基于理解的方法:在分词的同时进行语义分析,利于语法信息和语义信息处理歧义现象。
3、基于统计的方法:对语料中的字组频率进行计算,不考虑切分字典。
中文分词算法词典匹配,基于统计,最大匹配、最小匹配对词的长度和字数进行匹配,是关键字排名的核心,而正向匹配和逆向匹配解决了网页内容词与词的相关性,所以对分词算法的研究也是网站关键字排名的基础。