中文分词算法之最大逆向匹配法

中文文本处理的首要问题是分词，最大匹配法有正向和逆向之分，分别是从一个句子的开头和结尾切词。比如这里有一句话：S = “我在学习语言学”。
定义词最大的长度是：3，S1 = “”；分隔符：“\”；设现有词典Map存在如下词表：我、在、学习、语言学。
最大匹配法的关键在于有完整的词典，但是，也会有歧义发生，例如上记的长度如果定位2，词典里有“语言”一词，分词结果将会不是期望的结果。

下面用Java实现上面的分词算法。

package cn.zhf.fenci;
import java.util.HashMap;
import java.util.Map;
 
public class Segment {
    public static StringBuilder cutWords(String text){
        Map<String,Integer>   map = loadMap();//载入字典
        int MAX_LEN = 2;//定义最大词长
        StringBuilder sb = new StringBuilder();//存放结果
        int length = text.length();//存放文本的长度
        String word;//每次切分出来的词段
        while(text.length() > 0){
            if(length > MAX_LEN){
                MAX_LEN = length;
            }
            word = text.substring(length - MAX_LEN);//从末往前切词
            int offStart = length - MAX_LEN;
            boolean find = false;
            while(word.length() > 1){
                if(map.containsKey(word)){
                    find = true;
                    sb.append(word + "\\");//在词典中找到此词，则追加到结果中
                    break;
                }
                offStart++;//将word中的前一个字丢弃
                word = text.substring(offStart);
            }
            if(!find){//循环结束时，还剩下一个字，加入结果中
                sb.append(word + "\\");
            }
            text = text.substring(0,offStart);
        }
        return sb;
    }
    //简单起见，不从文本词典中读取数据
    public static Map<String,Integer> loadMap(){
    Map<String,Integer>   map = new HashMap<String,Integer>();
        map.put("我", 1);
        map.put("在", 1);
        map.put("学习", 1);
        map.put("语言", 1);
        map.put("。", 1);
        return map;
    }
 
    public static void main(String[] args) {
        String text = "我在学习语言学。";
        StringBuilder result = cutWords(text);
        System.out.println(result);
    }
}

分词过程：

: 我在学习语言学。
: 在学习语言学。
: 学习语言学。
: 习语言学。
: 语言学。
: 言学。
: 学。
: 。
 
: 我在学习语言学
: 在学习语言学
: 学习语言学
: 习语言学
: 语言学
 
: 我在学习
: 在学习
: 学习
 
: 我在
: 在
 
: 我

分词结果：

。\语言学\学习\在\我\