lucene的Filter

原文http://qindongliang1922.iteye.com/blog/1934607 

 

散仙今天要写的是关于过滤方面的知识，也就是Filter，如果了解Solr的朋友们，肯定都会知道Solr里面fq这个参数，这个参数的作用其实就是lucene里面的过滤，对一些q参数查询的结果集，做过滤或者限制返回一些我们需要的内容，可以理解成缩小搜索空间的一种策略。 

在这里散仙先介绍下查询与过滤的区别和联系，其实查询(各种Query)和过滤(各种Filter)之间非常相似，可以这样说只要用Query能完成的事，用过滤也都可以完成，它们之间可以相互转换，最大的区别就是使用过滤返回的结果集不带评分操作，而使用Query返回的结果都是带相关性评分的，所以当我们如果有一些跟评分操作没有关系的业务，优先使用Filter操作，将会获取更好的性能，其实这也是Solr里面的q参数跟fq参数的区别。 


下面，开始进入正题，在这之前，散仙还是喜欢老生常谈的先来了解一下Lucene里面有关于Filter的整体知识 



下面，我们来看下具体的在代码里怎么实现，先来看下我们的测试数据 

Java代码  

1. id      score       bookname    ename       type            price       date  
2. 1       1       飘渺之旅        pmzl        小说      52.23       201005        
3. 2       1       三国演义        sgyy        小说      36.13       201207        
4. 3       1       数据库实战       sjksz       技术      77.13       200811        
5. 4       1       编程宝典        bcbd        技术      100.3       200501        
6. 5       1       职场关系论       zcgxl       职场      36.59       200501        
7. 6       1       健康生活        jksh        生活      20.47       200008        
8. 7       1       看清本质        kqbz        社会      10.37       201004        
9. 8       1       编程,编程       bcbc        社会      10.37       201004    

核心代码 

Java代码  

1. //使用过滤器   最后一个为true时包含边界部分，为false时不包含边界部分  
2.            //倒数第二个为true时，包含查询边界，为false时不包含  
3.            TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);  
4.            TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  

输出结果 

Java代码  

1. 6       1       健康生活        jksh        生活      20.47       200008        
2. 7       1       看清本质        kqbz        社会      10.37       201004    

核心代码 

Java代码  

1. NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);  
2.   TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  

输出结果 

Java代码  

1. 2       1       三国演义        sgyy        小说      36.13       201207        
2. 5       1       职场关系论       zcgxl       职场      36.59       200501        
3. 6       1       健康生活        jksh        生活      20.47       200008        
4. 7       1       看清本质        kqbz        社会      10.37       201004        
5. 8       1       编程,编程       bcbc        社会      10.37       201004  

核心代码 

Java代码  

1. //使用缓存过滤  
2.     Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);  
3.     TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  

输出结果 

Java代码  

1. 2       1       三国演义        sgyy        小说      36.13       201207        
2. 5       1       职场关系论       zcgxl       职场      36.59       200501        
3. 6       1       健康生活        jksh        生活      20.47       200008    

核心代码 

Java代码  

1. // 缓存域过滤特定的类别  
2.  Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});  
3.  TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  

输出结果 

Java代码  

1. 3       1       数据库实战       sjksz       技术      77.13       200811        
2. 4       1       编程宝典        bcbd        技术      100.3       200501        
3. 7       1       看清本质        kqbz        社会      10.37       201004        
4. 8       1       编程,编程       bcbc        社会      10.37       201004    

核心代码 

Java代码  

1. //使用QueryWrapperFilter类包装一个Query  
2.          QueryWrapperFilter  filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));  
3.          TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  

输出结果 

Java代码  

1. 3       1       数据库实战       sjksz       技术      77.13       200811        
2. 4       1       编程宝典        bcbd        技术      100.3       200501    

最后我来看下，如何继承Filter基类，来定制我们自己的filter,自定义的Filter，虽然某些时候，功能很强大灵活，但是有几个缺点，我们的了解1，保证是内容不重复的字段，例如主键，如果重复，默认返回第一个作为结果集显示2，保证不能被分词的内容，如果是分词的字段，则可能会出现一些不正确的结果。 
自定义Filter类 

Java代码  

1. package com.sanjiesanxian.test;  
2.   
3. import java.io.IOException;  
4. import java.util.BitSet;  
5.   
6. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
7. import org.apache.lucene.index.AtomicReaderContext;  
8. import org.apache.lucene.index.DocsEnum;  
9. import org.apache.lucene.index.Term;  
10. import org.apache.lucene.search.DocIdSet;  
11. import org.apache.lucene.search.Filter;  
12. import org.apache.lucene.util.AttributeSource;  
13. import org.apache.lucene.util.Bits;  
14. import org.apache.lucene.util.DocIdBitSet;  
15. import org.apache.lucene.util.FixedBitSet;  
16. import org.apache.lucene.util.OpenBitSet;  
17.   
18. /*** 
19.  *^_^  ^_^  ^_^ 
20.  * QQ交流探讨群:324714439 
21.  * 自定义过滤器 
22.  * @author 三劫散仙 
23.  * */  
24. public class MyCustomFilter extends Filter{  
25.       
26.     public MyCustomFilter() {  
27.         // TODO Auto-generated constructor stub  
28.     }  
29.       
30.     private String[] terms;//限制返回的数据字典  
31.     public MyCustomFilter(String ...terms) {  
32.         // TODO Auto-generated constructor stub  
33.         this.terms=terms;  
34.     }  
35.     @Override  
36.     public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)  
37.             throws IOException {  
38.         FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc())  ;//获取没有所有的docid包括未删除的  
39.          int base=arg0.docBase;//段的相对基数，保证多个段时相对位置正确  
40.          //int limit=base+arg0.reader().maxDoc();//计算最大限制值  
41.         for(String s:terms){  
42.               DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复  
43.               //保证是单个不重复的term,如果重复的话，默认会取第一个作为返回结果集,分词后的term也不适用自定义term  
44.               if(doc.nextDoc()!=-1){   
45.                 bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面  
46.                 }  
47.               }  
48.         return bits;  
49.     }  
50.       
51.       
52.       
53.       
54.   
55.       
56.       
57.       
58. }  

测试查询代码 

Java代码  

1. MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项  
2. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);  

输出结果 

Java代码  

1. 2       1       三国演义        sgyy        小说      36.13       201207        
2. 3       1       数据库实战       sjksz       技术      77.13       200811        
3. 5       1       职场关系论       zcgxl       职场      36.59       200501    

自定义过滤器虽然有缺点，但是某些场景下却能发挥很灵活的作用，特别是对没有分词的字段进行过滤操作。