lucene3 中文IKAnalyzer分词例子

1. import java.io.IOException;   
2. import java.io.StringReader;   
3. import java.util.Iterator;   
4.   
5. import org.apache.lucene.analysis.Analyzer;   
6. import org.apache.lucene.analysis.TokenStream;   
7. import org.apache.lucene.document.Document;   
8. import org.apache.lucene.document.Field;   
9. import org.apache.lucene.index.IndexWriter;   
10. import org.apache.lucene.search.IndexSearcher;   
11. import org.apache.lucene.search.Query;   
12. import org.apache.lucene.search.ScoreDoc;   
13. import org.apache.lucene.search.TopDocs;   
14. import org.apache.lucene.store.Directory;   
15. import org.apache.lucene.store.RAMDirectory;   
16. import org.apache.lucene.util.AttributeImpl;   
17. import org.wltea.analyzer.lucene.IKAnalyzer;   
18. import org.wltea.analyzer.lucene.IKQueryParser;   
19. import org.wltea.analyzer.lucene.IKSimilarity;   
20. /**  
21.  * 采用IKAanlyzer分词器查询  
22.  * @author admin  
23.  *  
24.  */  
25. public class IKAnalyzerSearchWord {   
26.     private static String fieldName = "text";   
27.     public  static void searchWord(String field ,String keyword) {   
28.         if(null!=field&&!"".equals(field)){   
29.             fieldName = field;   
30.         }   
31.         String text = "IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， " +   
32.                 "IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。" +   
33.                 "新版本的IK Analyzer 3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。 ";      
34.         Analyzer analyzer = new IKAnalyzer();   
35.         StringReader reader = new StringReader(text);      
36.              
37.         long startTime = System.currentTimeMillis();    //开始时间      
38.         TokenStream ts = analyzer.tokenStream("*", reader);      
39.         Iterator<AttributeImpl> it = ts.getAttributeImplsIterator();   
40.         while(it.hasNext()){   
41.             System.out.println((AttributeImpl)it.next());   
42.         }   
43.         System.out.println("");      
44.              
45.         long endTime = System.currentTimeMillis();  //结束时间      
46.         System.out.println("IK分词耗时" + new Float((endTime - startTime)) / 1000 + "秒!");    
47.         Directory dir = null;   
48.         IndexWriter writer = null;   
49.         IndexSearcher searcher = null;   
50.         try {   
51.             dir = new RAMDirectory();   
52.             writer = new IndexWriter(dir, analyzer, true,   
53.                     IndexWriter.MaxFieldLength.LIMITED);   
54.             System.out.println(IndexWriter.MaxFieldLength.LIMITED);   
55.             Document doc = new Document();   
56.             doc.add(new Field(fieldName, text, Field.Store.YES,   
57.                     Field.Index.ANALYZED));   
58.             writer.addDocument(doc);   
59.             writer.close();   
60.             //在索引其中使用IKSimilarity相似评估度   
61.             searcher = new IndexSearcher(dir);   
62.             searcher.setSimilarity(new IKSimilarity());   
63.             Query query = IKQueryParser.parse(fieldName, keyword);   
64.             TopDocs topDocs = searcher.search(query, 5);   
65.             System.out.println("命中："+topDocs.totalHits);   
66.             ScoreDoc[] scoreDocs = topDocs.scoreDocs;   
67.             for (int i = 0; i < scoreDocs.length; i++) {   
68.                 Document targetDoc = searcher.doc(scoreDocs[i].doc);   
69.                 System.out.println("內容："+targetDoc.toString());   
70.             }   
71.         } catch (Exception e) {   
72.             System.out.println(e);   
73.         }finally{   
74.             try {   
75.                 searcher.close();   
76.             } catch (IOException e) {   
77.                 e.printStackTrace();   
78.             }   
79.             try {   
80.                 dir.close();   
81.             } catch (IOException e) {   
82.                 e.printStackTrace();   
83.             }   
84.         }   
85.     }   
86.     public static void main(String[] args) {   
87.         long a = System.currentTimeMillis();   
88.         IKAnalyzerSearchWord.searchWord("","中文分词工具包");   
89.         System.out.println(System.currentTimeMillis()-a);   
90.     }   
91. }