DFA算法过滤敏感词

1. 转自：http://blog.csdn.net/yhhazr/article/details/7866499
2. import java.io.InputStream;  
3. import java.io.UnsupportedEncodingException;  
4. import java.nio.ByteBuffer;  
5. import java.util.ArrayList;  
6. import java.util.Enumeration;  
7. import java.util.List;  
8. import java.util.Properties;  
9.   
10. public class test {        
11.     /**  
12.      * 根节点  
13.      */    
14.     private TreeNode rootNode = new TreeNode();    
15.         
16.     /**  
17.      * 关键词缓存  
18.      */    
19.     private ByteBuffer keywordBuffer = ByteBuffer.allocate(1024);       
20.         
21.     /**  
22.      * 关键词编码  
23.      */    
24.     private String charset = "utf-8";    
25.     
26.     /**  
27.      * 创建DFA  
28.      * @param keywordList  
29.      * @throws UnsupportedEncodingException   
30.      */    
31.     public void createKeywordTree(List<String> keywordList) throws UnsupportedEncodingException{    
32.         for (String keyword : keywordList) {    
33.             if(keyword == null) continue;    
34.             keyword = keyword.trim();    
35.             byte[] bytes = keyword.getBytes(charset);    
36.             TreeNode tempNode = rootNode;    
37.             for (int i = 0; i < bytes.length; i++) {    
38.                 int index = bytes[i] & 0xff;     
39.                 TreeNode node = tempNode.getSubNode(index);    
40.                 if(node == null){    
41.                     node = new TreeNode();    
42.                     tempNode.setSubNode(index, node);    
43.                 }    
44.                 tempNode = node;    
45.                 if(i == bytes.length - 1){    
46.                     tempNode.setKeywordEnd(true);      
47.                 }    
48.             }    
49.         }  
50.     }    
51.         
52.      
53.     public String searchKeyword(String text) throws UnsupportedEncodingException{    
54.         return searchKeyword(text.getBytes(charset));    
55.     }    
56.      
57.     public String searchKeyword(byte[] bytes){    
58.         StringBuilder words = new StringBuilder();    
59.         if(bytes == null || bytes.length == 0){    
60.             return words.toString();    
61.         }    
62.         TreeNode tempNode = rootNode;    
63.         int rollback = 0;     
64.         int position = 0;   
65.         while (position < bytes.length) {    
66.             int index = bytes[position] & 0xFF;    
67.             keywordBuffer.put(bytes[position]);   
68.             tempNode = tempNode.getSubNode(index);    
69.             if(tempNode == null){  
70.                 position = position - rollback;  
71.                 rollback = 0;    
72.                 tempNode = rootNode;        
73.                 keywordBuffer.clear();    
74.             }    
75.             else if(tempNode.isKeywordEnd()){    
76.                 keywordBuffer.flip();    
77.                 for (int i = 0; i <= rollback; i++) {  
78.                         bytes[position-i] = 42;  
79.                 }  
80.                 keywordBuffer.limit(keywordBuffer.capacity());    
81.                 rollback = 1;    
82.             }else{     
83.                 rollback++;   
84.             }    
85.             position++;    
86.         }    
87.         String result = null;  
88.          try {  
89.              result  =  new String(bytes,"utf-8");    
90.               
91.         } catch (Exception e) {  
92.             e.printStackTrace();  
93.         }  
94.         return result;  
95.     }    
96.         
97.     public void setCharset(String charset) {    
98.         this.charset = charset;    
99.     }   
100. }  

1. import java.util.ArrayList;  
2. import java.util.List;  
3.   
4. public class TreeNode {    
5.     private static final int NODE_LEN = 256;    
6.         
7.     /**  
8.      * true 关键词的终结 ； false 继续  
9.      */    
10.     private boolean end = false;     
11.         
12.     private List<TreeNode> subNodes = new ArrayList<TreeNode>(NODE_LEN);    
13.         
14.     public TreeNode(){    
15.         for (int i = 0; i < NODE_LEN; i++) {    
16.             subNodes.add(i, null);    
17.         }    
18.     }    
19.         
20.     /**  
21.      * 向指定位置添加节点树  
22.      * @param index  
23.      * @param node  
24.      */    
25.     public void setSubNode(int index, TreeNode node){    
26.         subNodes.set(index, node);    
27.     }    
28.         
29.     public TreeNode getSubNode(int index){    
30.         return subNodes.get(index);    
31.     }    
32.         
33.     
34.     public boolean isKeywordEnd() {    
35.         return end;    
36.     }    
37.     
38.     public void setKeywordEnd(boolean end) {    
39.         this.end = end;    
40.     }    
41. }