中文分词——正向最大匹配法

中文分词应用很广泛，网上也有很多开源项目。我在这里主要讲一下中文分词里面算法的简单实现，废话不多说了，现在先上代码

[java]  view plain  copy

 print ?

1. package com;  
2.   
3.   
4. import java.util.ArrayList;  
5. import java.util.List;  
6.   
7.   
8. public class Segmentation1 {  
9.     private List<String> dictionary = new ArrayList<String>();  
10.     private String request = "北京大学生前来应聘";  
11.       
12.     public void setDictionary() {  
13.         dictionary.add("北京");  
14.         dictionary.add("北京大学");  
15.         dictionary.add("大学");  
16.         dictionary.add("大学生");  
17.         dictionary.add("生前");  
18.         dictionary.add("前来");  
19.         dictionary.add("应聘");  
20.     }  
21.       
22.     public String leftMax() {  
23.         String response = "";  
24.         String s = "";  
25.         for(int i=0; i<request.length(); i++) {  
26.             s += request.charAt(i);  
27.             if(isIn(s, dictionary) && aheadCount(s, dictionary)==1) {  
28.                 response += (s + "/");  
29.                 s = "";  
30.             } else if(aheadCount(s, dictionary) > 0) {  
31.                   
32.             } else {  
33.                 response += (s + "/");  
34.                 s = "";  
35.             }  
36.         }  
37.         return response;  
38.     }  
39.       
40.     private boolean isIn(String s, List<String> list) {  
41.         for(int i=0; i<list.size(); i++) {  
42.             if(s.equals(list.get(i))) return true;  
43.         }  
44.         return false;  
45.     }  
46.       
47.     private int aheadCount(String s, List<String> list) {  
48.         int count = 0;  
49.         for(int i=0; i<list.size(); i++) {  
50.             if((s.length()<=list.get(i).length()) && (s.equals(list.get(i).substring(0, s.length())))) count ++;  
51.         }  
52.         return count;  
53.     }  
54.       
55.     public static void main(String[] args) {  
56.         Segmentation1 seg = new Segmentation1();  
57.         seg.setDictionary();  
58.         String response1 = seg.leftMax();  
59.         System.out.println(response1);  
60.     }  
61. }  

可以看到运行结果是：北京大学/生前/来/应聘/

算法的核心就是从前往后搜索，然后找到最长的字典分词。