分词常见算法-----小整理

一 基于规则的分词算法

  1 单字分词

 public static void  tokennizer(String a){
             for(int i=0;i<a.length();i++){
              System.out.prinltn(a.charAt[i]); 
        }
    }

   2  二元分词

   
public static void split(String a) {
int len