python 自定义类实现hash_python分词自定义词典_java分词算法的实现，自定义词典...

算法

对于中文分词技术的实现，有许多算法可以完成，目前大致可以把算法分为三大类：

基于字符串匹配的分词方法；

基于理解的分词方法；

基于统计的分词方法。

其中，基于字符串匹配的分词方法是把中文句子按照一定的策略将待分析的汉字串与已知且足够大的中文词典库进行比对，从而达到分词效果。而我们通常使用最多的分词策略，大致有三类，正向最大匹配法，逆向最大匹配法和最少切分法。

基于理解的分词方法是指让计算机模拟人对句子的理解进行分词。基于统计的分词方法是指找出上下文中出现较多的汉字组合，将这些组合视为词汇，代入到原文中进行分词。

在这里，我们就使用字符串匹配的分词方法，利用逆向最大匹配的策略，对中文句子进行简单的分词。

算法思路

逆向最大匹配法大致思想为：将整个字符串作为一个“词组”带入到词典中进行比对，若不成功，删除第一个字符，继续进行如此操作，直到成功或者只剩下最后一个字，再把结果放入一个字符串的数组中，最后删除原句中的结果，继续上面的操作。下面我将用一个例子解释这个操作：

原句：今晚月亮真漂亮啊

词典：“今晚”，“月亮”，“漂亮”

第一次代入：今晚月亮真漂亮啊(在词典中没有该词汇，删除首字符继续比对)

删除首字符：晚月亮真漂亮啊(在词典中没有该词汇，删除首字符继续比对)

删除首字符：月亮真漂亮啊(在词典中没有该词汇，删除首字符继续比对)

删除首字符：亮真漂亮啊(在词典中没有该词汇，删除首字符继续比对)

…

删除首字符：啊(在词典中没有该词汇，只剩下一个字，放入结果数组，并删除位于句尾的最后这个字，进行第二次代入)

第二次代入：今晚月亮真漂亮(在词典中没有该词汇，删除首字符继续比对)

…

删除首字符：漂亮(在词典中找到词汇“漂亮”，放入结果数组，并删除位于句尾的结果“漂亮”，进行第三次代入)

…

算法实现

评价

逆向最大匹配法的思想使得这个策略十分容易实现，具有非常明显的简单易懂的特点，实现代码也不算太长。但是，逆向最大匹配算法对于一些比较特殊的句子，分词准确率可能会降低。例如下面这个句子：

爱迪生发明了很多东西

如果你的词典足够大，你会发现，按照逆向最大匹配的方法，计算机会将“明了”看做一个中文词汇分隔出来，继续向下走，计算机将分出词汇“生发”，这样一来，就会造成 “爱迪 生发 明了” 的错误。

没关系！我们还有正向最大匹配法，我们可以用正向最大匹配法，对这个句子进行分词，结果就对了。但是正向最大匹配法也会出现bug，怎么办呢，我们可以将正向和逆向结合，这样就是另外一种分词策略：双向最大匹配法，大大降低了出现bug的概率。

结语

任何算法都有它的优劣性，我们在使用算法时，不仅要使用算法，更要去考虑怎么样去优化算法，使算法更加贴合自己的需求。