luence入门

、利用Lucene构建搜索引擎的一般过程：
   各类文档的字符化——>对字符数据进行分词——>建立索引——>搜索（选择搜索字段、搜索方式，执行搜索）。
2、Lucene文件系统说明：
   %LUCENE_HOME%\contrib\：Lucene扩展包，包括针对多种语言的分词工具、亮亮显示、Ant、xml文件解析等。其他目录无需赘言，清晰明了。
3、Lucene主要包结构：
   |__org.apache.lucene.document：用于描述组成索引结构的文档和字段，索引结构类似数据库中的表，故索引结构中Document代表一行，Field代表字段，包内同时还定义了FieldSelector接口，以及其实现类，用来描述读取索引时哪些字段被读入程序。
   |__org.apache.lucene.analysis：定义了一系列将各类文档转化为字符串所使用到的工具，主要包括了分词器、过滤器，以及亮亮显示中常用到的标记（Token）。Lucene在这个包之下定义了standard包，其中定义了对英文字符的标志分词器StandardAnalyzer，其他语言种类的分词器则在%LUCENE_HOME%\contrib\analyzers中定义（Lucene的扩展包）。过滤器用于在建立索引之时根据规则将文档中一些信息过滤掉，如英文中的a、an、is。
   |__org.apache.lucene.index：用于维护和访问索引，常用的如IndexWriter用于组织Document并将其写入索引文件；IndexReader用于读出索引文件（以被检索）；IndexModifier用于修改索引文件。同时，还定义了对索引和索引结构的维护类。
   |__org.apache.lucene.queryParser：这个包由JavaCC（ 详细介绍）自动生成。常用类是QueryParser，功能是利用分词器（必须与创建索引文件时用到的分词器相同）对查询关键字进行解析，解析产生一个Query对象，此对象交给Searcher类实例进行查询。
   |__org.apache.lucene.search：执行查询，以及对查询结果的操作。主要使用到Query定义一个查询；IndexSearcher执行一个查询；TopScoreCollector传入查询参数，用以接收查询结果。
4、各类文档的字符化：
   1)PDF---PDFBox，从 http://sourceforge.net/projects/pdfbox/下载PDFBox类库并解压，将external和lib下的jar包全copy到你的应用程序/lib下
   2)WORD---用POI的一个组件包，textmining，从[url]http://mirrors.ibiblio.org/pub/mirrors/maven2/org/textmining/tm-   extractors/0.4/[/url]下载tm-extractors-0.4.zip
   3)EXCEL---JExcel，从 http://www.andykhan.com/jexcelapi/下载
   4)XML---DOM4J，从 http://www.dom4j.org/下载
   5)HTML---HTMLParser，从 http://htmlparser.sourceforge.net/下载，我们需要filterbuilder.jar，htmlparser.jar，htmllexer.jar，thumbelina.jar
   6)Lius，用于从各种文档中提取文本信息，只是对PPT文档，只能解析出英文
5、建立索引：
  

Java代码  

1. final String IDNEX_PATH = "D:/Temp/lucene/index";//索引存放目录  
2. Analyzer analyzer = new PaodingAnalyzer();  
3. //利用索引目录及分词器构建索引写入器，true表示重新创建  
4. IndexWriter writer = new IndexWriter(IDNEX_PATH, analyzer,true,  
5.     IndexWriter.MaxFieldLength.UNLIMITED);  
6.           
7. //创建文档，并添加字段  
8. Document doc = new Document();  
9. Field field = new Field("content", "Hello World~",Field.Store.YES,                    
10.         Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS);  
11. doc.add(field);  
12.           
13. writer.addDocument(doc);//添加文档至索引中  
14. writer.optimize();//索引优化  
15. writer.close();//关闭写入，这一步必须执行，将缓存写入文件系统中  

   Field定义：
       Field.Store.YES:存储字段值（未分词前的字段值）
       Field.Store.NO:不存储,存储与索引没有关系
       Field.Store.COMPRESS:压缩存储,用于长文本或二进制，但性能受损

       Field.Index.ANALYZED:分词建索引
       Field.Index.ANALYZED_NO_NORMS:分词建索引，但是Field的值不像通常那样被保存，而是只取一个byte，这样节约存储空间
       Field.Index.NOT_ANALYZED:不分词且索引
       Field.Index.NOT_ANALYZED_NO_NORMS:不分词建索引，Field的值去一个byte保存

       TermVector表示文档的条目（由一个Document和Field定位）和它们在当前文档中所出现的次数
       Field.TermVector.YES:为每个文档（Document）存储该字段的TermVector
       Field.TermVector.NO:不存储TermVector
       Field.TermVector.WITH_POSITIONS:存储位置
       Field.TermVector.WITH_OFFSETS:存储偏移量
       Field.TermVector.WITH_POSITIONS_OFFSETS:存储位置和偏移量
6、搜索

Java代码  

1.           
2. final String field = "content";//定义将要在哪个字段上查询  
3. StandardAnalyzer analyzer = new StandardAnalyzer();  
4. QueryParser parser = new QueryParser(field, analyzer);//定义解析器  
5. IndexReader reader = IndexReader.open("D:\\Temp\\lucene\\index");//读入索引文件  
6.           
7. //执行查询  
8. IndexSearcher searcher = new IndexSearcher(reader);  
9. TopDocCollector topCollector = new TopDocCollector(100);//定义查询结果集，最多显示100条结果记录  
10. BufferedReader in = new BufferedReader(new                  
11.      InputStreamReader(System.in,"UTF-8"));  
12. String line = in.readLine();//读入查询关键字  
13. Query query = parser.parse(line);//利用解析器解析查询关键字，返回Query对象  
14. searcher.search(query, topCollector);//执行查询操作  
15.   
16. ScoreDoc[] scoreDocs = topCollector.topDocs().scoreDocs;//返回附带评分机制的结果集数组  
17. System.out.println("Found " + scoreDocs.length + " results in:");  
18. //遍历结果集，得到每个文档，然后对文档对性进行自定义操作  
19. for(ScoreDoc scoreDoc : scoreDocs){  
20.     Document doc = searcher.doc(scoreDoc.doc);  
21.     System.out.println("Path:\t" + doc.get("path"));  
22. }  

7、多条件查询：
   我们在实际应用中常常会对同时不同索引文件、不同字段进行搜索：对不同索引文件的查询主要通过定义多个Searcher，然后将它们集合到MulitSearcher中，利用MultiSearcher（实现类）的实例执行搜索操作；对不同字段的索引通过定义字段的数组，然后利用QueryParser解析数组。
   1)多索引文件搜索：
      方法一：这个搜索的结果可能有相同的信息，比如你有一条相同的信息在多个目录中索引，搜索的结果就会出现多次相同的信息。
       

Java代码  

1. IndexSearcher searcher1 = new IndexSearcher(INDEX_PATH1);  
2. IndexSearcher searcher2 = new IndexSearcher(INDEX_PATH2);  
3. IndexSearcher[] searchers = {searcher1,searcher2};  
4. MultiSearcher multisearcher = new MultiSearcher(searchers);  
5. TopDocs multitopdocs = multisearcher.Search(query, null, 1000);  

      方法二： 这个搜索是对搜索后的结果进行合并，剔除重复的信息。
       

Java代码  

1.             
2. IndexSearcher searcher1 = new IndexSearcher(INDEX_PATH1);  
3. IndexSearcher searcher2 = new IndexSearcher(INDEX_PATH2);  
4. IndexSearcher[] searchers = {searcher1,searcher2};  
5. ParallelMultiSearcher parallelmultisearcher = new ParallelMultiSearcher(searchers);  
6. TopDocs paralleltopdocs = parallelmultisearcher.Search(query, null, 1000);  

    2)多字段搜索：
       方法一：利用booleanQuery添加多个Query,每个Query对应查询关键字与其中一个字段的对应Query
        

Java代码  

1. final String[] field_list = {"pk_dept","deptname","depttype","deptduty","addr","tel"};  
2. String keyword = "Sales";  
3. BooleanQuery boolQuery = new BooleanQuery();  
4. for(String field : field_list){  
5.     QueryParser parser = new QueryParser(field,new PaodingAnalyzer());  
6.     Query query = parser.parse(keyword);  
7.     //boolQuery集合了多个query，  
8.     //参数BooleanClause.Occur.SHOULD:可以满足添加的query所定义的条件，即可能在该field中检索  
9.     //参数BooleanClause.Occur.SHOULD:必须满足添加的query所定义的条件，即必须在该field中检索  
10.     boolQuery.add(query,BooleanClause.Occur.SHOULD);  
11. }  
12. searcher.search(boolQuery, topCollector);  

        方法二：利用MultiFieldQueryParser将一个查询关键字关联到多个字段上
         

Java代码  

1. final String[] field_list = {"pk_dept","deptname","depttype","deptduty","addr","tel"};  
2. String keyword = "Sales";  
3. QueryParser multi_parser = new MultiFieldQueryParser(field_list,new PaodingAnalyzer());  
4. Query query = multi_parser.parse(keyword);  
5. searcher.search(query,topCollector);