（2）中文分词——基于词典的方法

中文分词基本算法主要分类：基于词典的方法、基于统计的方法、基于规则的方法
1、基于词典的方法（字符串匹配，机械分词方法）
定义:按照一定策略将待分析的汉字串与一个“大机器词典”中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。
按照扫描方向的不同：正向匹配和逆向匹配
按照长度的不同：最大匹配和最小匹配
1.2基于统计的分词（无字典分词）
主要思想：上下文中，相邻的字同时出现的次数越多，就越可能构成一个词。因此字与字相邻出现的概率或频率能较好的反映词的可信度。
主要统计模型为：N元文法模型（N-gram）、隐马尔科夫模型(Hidden Markov Model, HMM)。
最大正向匹配算法:从左向右扫描寻找词的最大匹配。首先我们规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。

一个简单的Java正向匹配算法示例

import java.util.*;
import java.io.*;
public class MM {
    static int MaxLen=5;
    public static void main(String[] args){
        String dic="计算语言学、课程、课时";
        String str="计算语言学课程是三个课时";
        String s="";
        int begin=0,end;
        while(begin<str.length()){
            end=begin+MaxLen;
            if(end>str.length())end=str.length();
            while(begin<end&&!dic.contains(str.substring(begin,end))){
                end--;
            }
            if(begin==end)end++;
            s=s+str.substring(begin,end)+"/";
            System.out.println(s);
            begin=end;
        }
        System.out.println(s);} }

正向最大匹配算法和反向最大匹配算法Java实现代码

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashSet;
import java.util.Set;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 *
 * @author Angela
 */
public class BiMaxSegment {
   

    /**最大分词长度**/
    private int max_len;
    /**词典**/
    private Set<String> dict;

    /****
     * 初始化max_len和词典
     * @param max_len 
     */
    public BiMaxSegment(int max_len){
        this.max_len=max_len;
        dict=initDict("dic/chineseDic.txt","gb2312");
    }

    /**
     * 读取词典
     * @param dictPath 词典文件路径
     * @param charset 词典文件编码
     * @return 词典Set
     */
    private Set<String> initDict(String dictPath,String charset){
        Set<String> dict=