大数据搜索引擎课程设计——中文分词算法设计与实现

原文链接：http://www.facesjoy.cn/article/2019/10/21/12.html

一、 实验目的

     了解中文分词意义

     掌握中文分词的基本方法

二、 实验环境

     Win10 64 位

     JDK8.0

三、 实验设计

（一）分词策略

       目前较为成熟的中文分词方法主要有：

         1.基于词表的分词算法

         2.基于统计模型的分析算法

         3.基于序列标注的分词算法

       我设计的是基于词表的分词算法，其中运用了正向最大匹配法和逆向最大 匹配法结合的方式。基本思路是：

   1. 正向最大匹配法(FMM)：

       概念：对于输入的一个文本序列从左至右，以贪心的算法切分出当前位

       分词原理：单词的颗粒度越大，所能表示的含义越确切

       分词步骤：首先我们有一个词库 worddict2.txt 还一个待分词的字符串 s，首先我们计算得到词库中最长词语的长度假设为 m，从字符串第一个位置开 始，选择一个最大长度的词长片段，如果该字符串的长度不足最大词长，则选择 该全部字符串；判断选择出来的字符串片段是否在词库中，若在，则将此词分离出来，若不在， 则从右边开始，逐一减少一