1 lucene简介ITPUB个人空间 f F M A \5M S&f3d ~
1.1 什么是luceneITPUB个人空间9^ T d1h m
Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。ITPUB个人空间Z i \ E8o
ITPUB个人空间&v y X X L:Q
1.2 lucene能做什么ITPUB个人空间 ~&s1n7e ?:g%a
要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库 表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎……
[ [ P.A2y#J'|*n0
3b ^ f6J%J:G l/g01.3 你该不该选择lucene
-V ^ \ { N0下面给出一些测试数据，如果你觉得可以接受，那么可以选择。ITPUB个人空间,P rZ1o o o9M @9|1o:G
测试一：250万记录，300M左右文本，生成索引380M左右，800线程下平均处理时间300ms。
.? A Z w T e W0测试二：37000记录，索引数据库中的两个varchar字段，索引文件2.6M，800线程下平均处理时间1.5ms。
#w,N+H0d'H} J A g.B&M0
+Q%T x)E Q1A ] t02 lucene的工作方式ITPUB个人空间 D o [3B w&C5J C%p c
lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。
[3j"t T1[ o$t"@+Y D X O0
.D x Y Z0I/E Y F2C X02.1写入流程
B {%g ['C%?1]0源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。ITPUB个人空间 h x/p3z g'M p%R
将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。ITPUB个人空间"_ t5p v T-? ^+q5r&@
将索引写入存储器，存储器可以是内存或磁盘。
N1i h"d%{-F#a0
n O#z*{(V.v02.2读出流程ITPUB个人空间m E7G%x:S W I'b
用户提供搜索关键词，经过analyzer处理。ITPUB个人空间.DN i1_ A.[ j
对处理后的关键词搜索索引找出对应的Document。ITPUB个人空间$` F Q,Q ^V*R
用户根据需要从找到的Document中提取需要的Field。ITPUB个人空间 s K v A ] w s i%T:k
p2X&Z(? U Y ^)x03 一些需要知道的概念
7m J:o q v G Y o L6p ? u0lucene用到一些概念，了解它们的含义，有利于下面的讲解。ITPUB个人空间 s8u B O9N
ITPUB个人空间8~ e2\ `4m x h B j
3.1 analyzer
K o C @ e!t0Analyzer 是分析器，它的作用是把一个字符串按某种规则划分成一个个词语，并去除其中的无效词语，这里说的无效词语是指英文中的 “of”、 “the”，中文中的“的”、“地”等词语，这些词语在文章中大量出现，但是本身不包含什么关键信息，去掉有利于缩小索引文件、提高效率、提高命中率。ITPUB个人空间:S E j*j)J E1QQ
分词的规则千变万化，但目的只有一个：按语义划分。这点在英文中比较容易实现，因为英文本身就是以单词为单位的，已经用空格分开；而中文则必须以某种方法将连成一片的句子划分成一个个词语。具体划分方法下面再详细介绍，这里只需了解分析器的概念即可。ITPUB个人空间 v H*]0c C q V a
ITPUB个人空间 w4x V P B7\ i T v5d
3.2 document
O @ Z$@ [ b0用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。用户进行搜索，也是以Document列表的形式返回。
O5m1l h"E3l5}2Z0
x G+Ka A i D6R Y03.3 field
+B S o5a*m"e0一个Document可以包含多个信息域，例如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域，这些信息域就是通过Field在Document中存储的。ITPUB个人空间 b0J&L#o q O;S
Field有两个属性可选：存储和索引。通过存储属性你可以控制是否对这个Field进行存储；通过索引属性你可以控制是否对该Field进行索引。这看起来似乎有些废话，事实上对这两个属性的正确组合很重要，下面举例说明：
h d'c/Q3r2?G0还是以刚才的文章为例子，我们需要对标题和正文进行全文搜索，所以我们要把索引属性设置为真，同时我们希望能直接从搜索结果中提取文章标题，所以我们把标题域的存储属性设置为真，但是由于正文域太大了，我们为了缩小索引文件大小，将正文域的存储属性设置为假，当需要时再直接读取文件；我们只是希望能从搜索解果中提取最后修改时间，不需要对它进行搜索，所以我们把最后修改时间域的存储属性设置为真，索引属性设置为假。上面的三个域涵盖了两个属性的三种组合，还有一种全为假的没有用到，事实上Field不允许你那么设置，因为既不存储又不索引的域是没有意义的。
(h w N%g e.j C W0ITPUB个人空间 i G%?#v a(E K
3.4 term
z So8G9G7O T&R$d0term是搜索的最小单位，它表示文档的一个词语，term由两部分组成：它表示的词语和这个词语所出现的field。
b"{q B/`!u0
1s H pe U z M R03.5 tockenITPUB个人空间.\&K0Q0gd c(?L9P }
tocken是term的一次出现，它包含trem文本和相应的起止偏移，以及一个类型字符串。一句话中可以出现多次相同的词语，它们都用同一个term表示，但是用不同的tocken，每个tocken标记该词语出现的地方。
"~ e0`3`j m/R0
_ Y F5Ct W3Y03.6 segment
V I)S0K Pj)R P0添加索引时并不是每个document都马上添加到同一个索引文件，它们首先被写入到不同的小文件，然后再合并成一个大索引文件，这里每个小文件都是一个segment。
8A2X5@ G3_ @ ]0
4 lucene的结构ITPUB个人空间 t d Z _ ^ x6H r Q
lucene包括core和sandbox两部分，其中core是lucene稳定的核心部分，sandbox包含了一些附加功能，例如highlighter、各种分析器。
| z \9e;` i7g0Lucene core有七个包：analysis，document，index，queryParser，search，store，util。
#J,?+g b S&D x q+F04.1 analysis
+QO q ^ M0Analysis包含一些内建的分析器，例如按空白字符分词的WhitespaceAnalyzer，添加了stopwrod过滤的StopAnalyzer，最常用的StandardAnalyzer。
e | {:j#n5s K"T(|4P04.2 documentITPUB个人空间GO i)s ~ @ @
Document包含文档的数据结构，例如Document类定义了存储文档的数据结构，Field类定义了Document的一个域。
J [#n*H P4m5o T |04.3 indexITPUB个人空间4s _3s N!Q0q(t N
Index 包含了索引的读写类，例如对索引文件的segment进行写、合并、优化的IndexWriter类和对索引进行读取和删除操作的 IndexReader类，这里要注意的是不要被IndexReader这个名字误导，以为它是索引文件的读取类，实际上删除索引也是由它完成， IndexWriter只关心如何将索引写入一个个segment，并将它们合并优化；IndexReader则关注索引文件中各个文档的组织形式。ITPUB个人空间 U b ` b.Q:B u
4.4 queryParserITPUB个人空间 w Z&H2{'W [
QueryParser 包含了解析查询语句的类，lucene的查询语句和sql语句有点类似，有各种保留字，按照一定的语法可以组成各种查询。 Lucene有很多种Query类，它们都继承自Query，执行各种特殊的查询，QueryParser的作用就是解析查询语句，按顺序调用各种 Query类查找出结果。ITPUB个人空间 R |5S5K ? E ~ g(f
4.5 search
"j I ] E+u8x v d0Search包含了从索引中搜索结果的各种类，例如刚才说的各种Query类，包括TermQuery、BooleanQuery等就在这个包里。
9i!A N.C C y7v$r1K04.6 storeITPUB个人空间 Z o'^2O5oK ^ [:m
Store包含了索引的存储类，例如Directory定义了索引文件的存储结构，FSDirectory为存储在文件中的索引，RAMDirectory为存储在内存中的索引，MmapDirectory为使用内存映射的索引。ITPUB个人空间;K"Nx Y Z*I v;M
4.7 utilITPUB个人空间2H9d'J#A ? c j3b%iR
Util包含一些公共工具类，例如时间和字符串之间的转换工具。ITPUB个人空间2{ m x m5U N
5 如何建索引ITPUB个人空间 H @E 's v j6p
5.1 最简单的能完成索引的代码片断ITPUB个人空间 eB%l'|0w e E H h [ j q
ITPUB个人空间 y L*] Y u l:uy
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);ITPUB个人空间0[.] J b O4K;U^4v'V
Document doc = new Document();
'p z+R0s-C-A Z)X&s0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间;f ]1p4e&k
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
s,t)s t g8[ _*j1o2k:H5V Z0writer.addDocument(doc);ITPUB个人空间&k S*@4B7] f E [
writer.optimize();
$n t E O I0writer.close();ITPUB个人空间 M&_ A[ U V!Q x
ITPUB个人空间 M S u [ v X)@!L y
下面我们分析一下这段代码。ITPUB个人空间6v U @$C \ M.E
首先我们创建了一个writer，并指定存放索引的目录为“/data/index”，使用的分析器为StandardAnalyzer，第三个参数说明如果已经有索引文件在索引目录下，我们将覆盖它们。ITPUB个人空间;B0e w t ? z%U
然后我们新建一个document。ITPUB个人空间 i!@ tR t r b,G g l d
我们向document添加一个field，名字是“title”，内容是“lucene introduction”，对它进行存储并索引。
+U J | \*v)N0再添加一个名字是“content”的field，内容是“lucene works well”，也是存储并索引。ITPUB个人空间;^ L+j5a_ V,L
然后我们将这个文档添加到索引中，如果有多个文档，可以重复上面的操作，创建document并添加。ITPUB个人空间 ]#E-J _ ~ | d
添加完所有document，我们对索引进行优化，优化主要是将多个segment合并到一个，有利于提高索引速度。
7` i }8e c F _0随后将writer关闭，这点很重要。
&b n G x?!J g w0ITPUB个人空间5J ^5c2g0Q:S f"E
对，创建索引就这么简单！ITPUB个人空间!Q x S d"K t
当然你可能修改上面的代码获得更具个性化的服务。
U p ^9i a"F D0ITPUB个人空间;A V _!} f,S ? P\&Q
5.2 将索引直接写在内存
X B a3T(@-_0你需要首先创建一个RAMDirectory，并将其传给writer，代码如下：
#s M z+| q Y5?0ITPUB个人空间 ] ?3C C+w f Y+W+w K
Directory dir = new RAMDirectory();
R a;Q z Y p L%E B0IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);ITPUB个人空间4W x(j s ]6H4L)Z
Document doc = new Document();
b g c N X d0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间9{2`(x ]n I ^/{
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间 z~ j-x:q-Z a D
writer.addDocument(doc);ITPUB个人空间 l q J X o
writer.optimize();ITPUB个人空间3G } H v RF&a%js m
writer.close();ITPUB个人空间6R3V h4KbX
ITPUB个人空间 C1g O l3a-A"n3R o
5.3 索引文本文件
@'B u A#a { r G0如果你想把纯文本文件索引起来，而不想自己将它们读入字符串创建field，你可以用下面的代码创建field：
2x F e X+g!G5L0ITPUB个人空间#k3@$a h ?
Field field = new Field("content", new FileReader(file));
]C.J S y,r Z-O4\0ITPUB个人空间'E0P0f J:e*h x
这里的file就是该文本文件。该构造函数实际上是读去文件内容，并对其进行索引，但不存储。
}.t H6} g ]7_ R0ITPUB个人空间 { H dr y v;m D
6 如何维护索引
+F j2y5L1F3h8r0i H0索引的维护操作都是由IndexReader类提供。ITPUB个人空间 V)F*J ~ `1N M
ITPUB个人空间/O T Bi d ]
6.1 如何删除索引
*X%K r%J H#J K i8r K0lucene提供了两种从索引中删除document的方法，一种是ITPUB个人空间 V J _(e Z | g(A
c t9r x0\.A'P Z#q,JR0void deleteDocument(int docNum)
4Q3e q4a(T6? I R$h0ITPUB个人空间1c v w b+d A-g:B8~
这种方法是根据document在索引中的编号来删除，每个document加进索引后都会有个唯一编号，所以根据编号删除是一种精确删除，但是这个编号是索引的内部结构，一般我们不会知道某个文件的编号到底是几，所以用处不大。另一种是ITPUB个人空间"S&I AU ? i"l
ITPUB个人空间 y%p2e v5c
void deleteDocuments(Term term)ITPUB个人空间$T"R a,j4s m$F q
ITPUB个人空间8d o w0?,k+_
这种方法实际上是首先根据参数term执行一个搜索操作，然后把搜索到的结果批量删除了。我们可以通过这个方法提供一个严格的查询条件，达到删除指定document的目的。
*\'\ P5i#l:r0r#u0下面给出一个例子：ITPUB个人空间 s"A Q%u+n f%g:a
"j \ Z q f b S0Directory dir = FSDirectory.getDirectory(PATH, false);
P,P L:Q,s t X0IndexReader reader = IndexReader.open(dir);ITPUB个人空间 t/` S | f V
Term term = new Term(field, key);ITPUB个人空间 ? n U+c,s-L1~7A
reader.deleteDocuments(term);ITPUB个人空间)?7m z { \;x
reader.close();ITPUB个人空间 g#B {5N { t8y ? i
ITPUB个人空间8G C8R:P v O
6.2 如何更新索引ITPUB个人空间X,R,^$_8H
lucene并没有提供专门的索引更新方法，我们需要先将相应的document删除，然后再将新的document加入索引。例如：
-W3e X1d c [2k | i0
9O C8h L E |4K0e"w0Directory dir = FSDirectory.getDirectory(PATH, false);ITPUB个人空间"eR2S!? U2B
IndexReader reader = IndexReader.open(dir);ITPUB个人空间{B9q D:v
Term term = new Term(“title”, “lucene introduction”);
u x8D H2o O6i"k R9x)? y0reader.deleteDocuments(term);
!I _"q9A#L C)k5[0reader.close();
K.d q V G p e q T B7F0ITPUB个人空间-p u0I)t J1n$N.r&y2G+S
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);ITPUB个人空间 GP(W P f z
Document doc = new Document();
H6I S E N1T;q? r0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间 p C n F R4v b l X [
doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));
u U N T e F2j n _ G0writer.addDocument(doc);
(D2?'C` i Y0writer.optimize();
x-C H(u9y Df [&D0writer.close();
!V)R _ ?%i G8D07 如何搜索ITPUB个人空间 } }.? I o k8t7z
lucene 的搜索相当强大，它提供了很多辅助查询类，每个类都继承自Query类，各自完成一种特殊的查询，你可以像搭积木一样将它们任意组合使用，完成一些复杂操作；另外lucene还提供了Sort类对结果进行排序，提供了Filter类对查询条件进行限制。你或许会不自觉地拿它跟SQL语句进行比较：“lucene能执行and、or、order by、where、like ‘%xx%’操作吗？”回答是：“当然没问题！”ITPUB个人空间 E u i_+B-V*\ c:[
ITPUB个人空间 T8t } d-U V3s
7.1 各种各样的QueryITPUB个人空间 ^ o x"[4^.h h*w
下面我们看看lucene到底允许我们进行哪些查询操作：ITPUB个人空间+pT g d-| i-d
K&J W.S H F6A9t9B07.1.1 TermQuery
@ t r {9T-Q [W&^0首先介绍最基本的查询，如果你想执行一个这样的查询：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：ITPUB个人空间(M7x'Z^ j-N+R |
ITPUB个人空间#A i ?7l3D R
Term t = new Term("content", " lucene";ITPUB个人空间5\ W$Cr;i.Q'C
Query query = new TermQuery(t);
i | {0T6w0ITPUB个人空间&KI | Uk j
7.1.2 BooleanQuery
3h2Y @C ^ e#G N0如果你想这么查询：“在content域中包含java或perl的document”，那么你可以建立两个TermQuery并把它们用BooleanQuery连接起来：ITPUB个人空间 n([ N [)r s j&Kn5w
ITPUB个人空间%i/y*y'N!S V/k5A
TermQuery termQuery1 = new TermQuery(new Term("content", "java");
7I1@ i,O o.k b0TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");
q I%T s9L&V!A B0BooleanQuery booleanQuery = new BooleanQuery();
0Hc dZc c0booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);
3L E5_,`C A,C L%B0booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);ITPUB个人空间9C d b i9^ P O7x
ITPUB个人空间8H L^5~*Y:I9D o
7.1.3 WildcardQueryITPUB个人空间"M,l ~2] [2~,Q:x
如果你想对某单词进行通配符查询，你可以用WildcardQuery，通配符包括’?’匹配一个任意字符和’*’匹配零个或多个任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：ITPUB个人空间 }7v i$B8V A6p;]-~
ITPUB个人空间.@%M ^ i"M _ I
Query query = new WildcardQuery(new Term("content", "use*");ITPUB个人空间!}5l sc o F
ITPUB个人空间/S,D7p.B9C T!n&R
7.1.4 PhraseQueryITPUB个人空间 g w N k M L0h
你可能对中日关系比较感兴趣，想查找‘中’和‘日’挨得比较近（5个字的距离内）的文章，超过这个距离的不予考虑，你可以：ITPUB个人空间 ^ Q] u \ x R$_ g3h
v4{+d U g0Q z0PhraseQuery query = new PhraseQuery();
7w0t I x3I [0query.setSlop(5);
l/N U0~8[ f cd'S0query.add(new Term("content ", “中”));
5Z(q;M F3W o3D{0query.add(new Term(“content”, “日”));ITPUB个人空间 U h V y8Q U4b
ITPUB个人空间 m9F E%R V Q C
那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中国某高层领导说日本欠扁”。
I M0T5W ])x:h L9R)s Q0
0f U#|2L j [ n07.1.5 PrefixQueryITPUB个人空间,] v*B Q k+T2}
如果你想搜以‘中’开头的词语，你可以用PrefixQuery：
)d+nn J ` j$f)C0ITPUB个人空间 b P7b(O _:n"X y E1u3G
PrefixQuery query = new PrefixQuery(new Term("content ", "中");ITPUB个人空间 Y+PKD:T"~ R
ITPUB个人空间%K7Q L ^ O
7.1.6 FuzzyQuery
y t.A6i V n)e.A!P F0FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟‘wuzza’相似的词语，你可以：
-a b6? R a!Q z G `0ITPUB个人空间 sVZ*J K
Query query = new FuzzyQuery(new Term("content", "wuzza");
1W h)a&[ e8Ul S Q y1G0ITPUB个人空间7I P A B,iw t#c W
你可能得到‘fuzzy’和‘wuzzy’。
#}6G:j(Q(N/i3j u k0ITPUB个人空间 G#@"I/X"r1B.A/i
7.1.7 RangeQueryITPUB个人空间 f v1R o4l
另一个常用的Query是RangeQuery，你也许想搜索时间域从20060101到20060130之间的document，你可以用RangeQuery：ITPUB个人空间 G p Z'N b R1i,}+g1G
ITPUB个人空间5E x%m H*Y n b
RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);
dZ$hP v P j0ITPUB个人空间 k W2w,w&v
最后的true表示用闭合区间。ITPUB个人空间 v P ? {#o E&g
ITPUB个人空间;@ | [ m,{ r
7.2 QueryParser
We k6h)l:o0看了这么多Query，你可能会问：“不会让我自己组合各种Query吧，太麻烦了！”当然不会，lucene提供了一种类似于SQL语句的查询语句，我们姑且叫它lucene语句，通过它，你可以把各种查询一句话搞定，lucene会自动把它们查分成小块交给相应Query执行。下面我们对应每种 Query演示一下：ITPUB个人空间-j f ? o ` J [
TermQuery可以用“field:key”方式，例如“content:lucene”。
a _4Ep G m ` }0BooleanQuery中‘与’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。ITPUB个人空间&F [ I/m&t J4E
WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。ITPUB个人空间6a6E9{ Z'l p(l q
PhraseQuery用‘~’，例如“content:"中日"~5”。
x5f.\ ^'t0PrefixQuery用‘*’，例如“中*”。
n$M;s8E F w0FuzzyQuery用‘~’，例如“content: wuzza ~”。ITPUB个人空间2` ~ } S5[
RangeQuery用‘[]’或‘{}’，前者表示闭区间，后者表示开区间，例如“time:[20060101 TO 20060130]”，注意TO区分大小写。ITPUB个人空间 [8W z V c x7y ? r A N
你可以任意组合query string，完成复杂操作，例如“标题或正文包括lucene，并且时间在20060101到20060130之间的文章” 可以表示为：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。代码如下：
#f9y u N T0
| s d B t0Directory dir = FSDirectory.getDirectory(PATH, false);ITPUB个人空间%@ r w z I K {'_
IndexSearcher is = new IndexSearcher(dir);
1^ Hu4A _0^ U0QueryParser parser = new QueryParser("content", new StandardAnalyzer());ITPUB个人空间+f"C&T o"?&Q;\;W/L e
Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";ITPUB个人空间7T V:o L w `
Hits hits = is.search(query);
.s!n V*c2i&u v2a { n:we0for (int i = 0; i<hits.length(); i++)ITPUB个人空间 \0} i e5e
{ITPUB个人空间 U4Z*Q t;J*x d A
Document doc= hits.doc(i);
s&W5s KA T3S0System.out.println(doc.get("title");
D O v X)?0}ITPUB个人空间.X @!p(NH-k p6[ ]&M
is.close();
2B _ E W9e0
(cd W u.G)M9F6T0首先我们创建一个在指定文件目录上的IndexSearcher。ITPUB个人空间 _6r1M { u G,q B
然后创建一个使用StandardAnalyzer作为分析器的QueryParser，它默认搜索的域是content。
\ A X O;p#i!u)})W E0接着我们用QueryParser来parse查询字串，生成一个Query。
$r r8\ } _ i+U0然后利用这个Query去查找结果，结果以Hits的形式返回。ITPUB个人空间2O m0R f @+M N ] S Q J
这个Hits对象包含一个列表，我们挨个把它的内容显示出来。
(J i;i*h A9V;x0ITPUB个人空间 }9J ? F'| r T d S
7.3 FilterITPUB个人空间 k X+M [nv p?
filter 的作用就是限制只查询索引的某个子集，它的作用有点像SQL语句里的 where，但又有区别，它不是正规查询的一部分，只是对数据源进行预处理，然后交给查询语句。注意它执行的是预处理，而不是对查询结果进行过滤，所以使用filter的代价是很大的，它可能会使一次查询耗时提高一百倍。
i1G g J9j L r y5`2]*k0最常用的filter是RangeFilter和QueryFilter。RangeFilter是设定只搜索指定范围内的索引；QueryFilter是在上次查询的结果中搜索。ITPUB个人空间.l ` Z)F _ Z!q
Filter的使用非常简单，你只需创建一个filter实例，然后把它传给searcher。继续上面的例子，查询“时间在20060101到20060130之间的文章”除了将限制写在query string中，你还可以写在RangeFilter中：ITPUB个人空间 e [ b o~ e d
ITPUB个人空间3\ i3r&P*_ S
Directory dir= FSDirectory.getDirectory(PATH,false);
f%i&t6E.z {.T8T0IndexSearcher is= newIndexSearcher(dir);ITPUB个人空间 F#D4@ Q5F
QueryParser parser= newQueryParser("content", new StandardAnalyzer());ITPUB个人空间-Y A/|5vU*{3O.f)H bw
Query query= parser.parse("title:lucenecontent:lucene";
},g:g O W.V B z"A j0RangeFilter filter= newRangeFilter("time", "20060101", "20060230", true, true);ITPUB个人空间8c ]3] @-P [;q
Hits hits= is.search(query,filter);ITPUB个人空间 @ `Y G | _
for (int ii < hits.length(); i++)
N c K!h/Q v/@ m&K0{
G { w c } j"X z0Document doc= hits.doc(i);
|7h*H6N k4i5D z g0System.out.println(doc.get("title");ITPUB个人空间 T5Q X._;m r%b'q Q p R
}ITPUB个人空间 x-P h f k!t l"t&r Y#T
is.close();ITPUB个人空间3g,U1N { }
#h ]'tO U3@ H8z07.4 Sort
+Z"C,N4M!E7h p0有时你想要一个排好序的结果集，就像SQL语句的“order by”，lucene能做到：通过Sort。ITPUB个人空间:Y4k Y b N;p W1R
Sort sortSort(“time”); //相当于SQL的“order by time”ITPUB个人空间 zB Q r/e#g1| `
Sort sort= newSort(“time”, true); // 相当于SQL的“order by time desc”ITPUB个人空间"^4x U.F f E
下面是一个完整的例子：ITPUB个人空间 x p r7U(a8{ \ l H S
ITPUB个人空间 F*Z0`'K _ X4b:W
Directory dir= FSDirectory.getDirectory(PATH,false);ITPUB个人空间2AD8q _!o l h
IndexSearcher is= newIndexSearcher(dir);ITPUB个人空间%O1E J4N(H m
QueryParser parser= newQueryParser("content", new StandardAnalyzer());
$F R { M(_8K;F7?&X0Query query= parser.parse("title:lucenecontent:lucene";ITPUB个人空间 s:Q)_ F3` T
RangeFilter filter= newRangeFilter("time", "20060101", "20060230", true, true);ITPUB个人空间5h o Z N a/E
Sort sort= newSort(“time”);
\9@ ] ^+c)P/p0Hits hits= is.search(query,filter, sort);ITPUB个人空间w Bu:uh v K
for (int i= 0;i < hits.length(); i++)
w b a;P8I;O0{ITPUB个人空间 B9U s y X'V5X:a5z E
Document doc= hits.doc(i);ITPUB个人空间 I%J*{$AU o:V t
System.out.println(doc.get("title");
} a4C o(~'h0}
/r t"j A @7S6Q N'F!K A0is.close();ITPUB个人空间 ] U7[ `/w
T2z7a f i)sV$R T2v;j08 分析器
_4v,n \N&H _ L Gu)R0在前面的概念介绍中我们已经知道了分析器的作用，就是把句子按照语义切分成一个个词语。英文切分已经有了很成熟的分析器： StandardAnalyzer，很多情况下StandardAnalyzer是个不错的选择。甚至你会发现StandardAnalyzer也能对中文进行分词。ITPUB个人空间%j X C#j7g y,{
但是我们的焦点是中文分词，StandardAnalyzer能支持中文分词吗？实践证明是可以的，但是效果并不好，搜索“如果”会把“牛奶不如果汁好喝 ”也搜索出来，而且索引文件很大。那么我们手头上还有什么分析器可以使用呢？core里面没有，我们可以在sandbox里面找到两个： ChineseAnalyzer和CJKAnalyzer。但是它们同样都有分词不准的问题。相比之下用StandardAnalyzer 和 ChineseAnalyzer建立索引时间差不多，索引文件大小也差不多，CJKAnalyzer表现会差些，索引文件大且耗时比较长。
&X |9| Uy+c'|0要解决问题，首先分析一下这三个分析器的分词方式。StandardAnalyzer和ChineseAnalyzer都是把句子按单个字切分，也就是说 “牛奶不如果汁好喝”会被它们切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer则会切分成“牛奶 奶不 不如 如果 果汁汁好好喝”。这也就解释了为什么搜索“果汁”都能匹配这个句子。ITPUB个人空间 s(_K m j(E
以上分词的缺点至少有两个：匹配不准确和索引文件大。我们的目标是将上面的句子分解成“牛奶 不如 果汁好喝”。这里的关键就是语义识别，我们如何识别“ 牛奶”是一个词而“奶不”不是词语？我们很自然会想到基于词库的分词法，也就是我们先得到一个词库，里面列举了大部分词语，我们把句子按某种方式切分，当得到的词语与词库中的项匹配时，我们就认为这种切分是正确的。这样切词的过程就转变成匹配的过程，而匹配的方式最简单的有正向最大匹配和逆向最大匹配两种，说白了就是一个从句子开头向后进行匹配，一个从句子末尾向前进行匹配。基于词库的分词词库非常重要，词库的容量直接影响搜索结果，在相同词库的前提下，据说逆向最大匹配优于正向最大匹配。ITPUB个人空间 X ^ V7b6Z#}
当然还有别的分词方法，这本身就是一个学科，我这里也没有深入研究。回到具体应用，我们的目标是能找到成熟的、现成的分词工具，避免重新发明车轮。经过网上搜索，用的比较多的是中科院的ICTCLAS和一个不开放源码但是免费的JE-Analysis。ICTCLAS有个问题是它是一个动态链接库， java调用需要本地方法调用，不方便也有安全隐患，而且口碑也确实不大好。JE-Analysis效果还不错，当然也会有分词不准的地方，相比比较方便放心。= new= 0;
lucene包括core和sandbox两部分，其中core是lucene稳定的核心部分，sandbox包含了一些附加功能，例如highlighter、各种分析器。
| z \9e;` i7g0Lucene core有七个包：analysis，document，index，queryParser，search，store，util。
#J,?+g b S&D x q+F04.1 analysis
+QO q ^ M0Analysis包含一些内建的分析器，例如按空白字符分词的WhitespaceAnalyzer，添加了stopwrod过滤的StopAnalyzer，最常用的StandardAnalyzer。
e | {:j#n5s K"T(|4P04.2 documentITPUB个人空间GO i)s ~ @ @
Document包含文档的数据结构，例如Document类定义了存储文档的数据结构，Field类定义了Document的一个域。
J [#n*H P4m5o T |04.3 indexITPUB个人空间4s _3s N!Q0q(t N
Index 包含了索引的读写类，例如对索引文件的segment进行写、合并、优化的IndexWriter类和对索引进行读取和删除操作的 IndexReader类，这里要注意的是不要被IndexReader这个名字误导，以为它是索引文件的读取类，实际上删除索引也是由它完成， IndexWriter只关心如何将索引写入一个个segment，并将它们合并优化；IndexReader则关注索引文件中各个文档的组织形式。ITPUB个人空间 U b ` b.Q:B u
4.4 queryParserITPUB个人空间 w Z&H2{'W [
QueryParser 包含了解析查询语句的类，lucene的查询语句和sql语句有点类似，有各种保留字，按照一定的语法可以组成各种查询。 Lucene有很多种Query类，它们都继承自Query，执行各种特殊的查询，QueryParser的作用就是解析查询语句，按顺序调用各种 Query类查找出结果。ITPUB个人空间 R |5S5K ? E ~ g(f
4.5 search
"j I ] E+u8x v d0Search包含了从索引中搜索结果的各种类，例如刚才说的各种Query类，包括TermQuery、BooleanQuery等就在这个包里。
9i!A N.C C y7v$r1K04.6 storeITPUB个人空间 Z o'^2O5oK ^ [:m
Store包含了索引的存储类，例如Directory定义了索引文件的存储结构，FSDirectory为存储在文件中的索引，RAMDirectory为存储在内存中的索引，MmapDirectory为使用内存映射的索引。ITPUB个人空间;K"Nx Y Z*I v;M
4.7 utilITPUB个人空间2H9d'J#A ? c j3b%iR
Util包含一些公共工具类，例如时间和字符串之间的转换工具。ITPUB个人空间2{ m x m5U N
5 如何建索引ITPUB个人空间 H @E 's v j6p
5.1 最简单的能完成索引的代码片断ITPUB个人空间 eB%l'|0w e E H h [ j q
ITPUB个人空间 y L*] Y u l:uy
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);ITPUB个人空间0[.] J b O4K;U^4v'V
Document doc = new Document();
'p z+R0s-C-A Z)X&s0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间;f ]1p4e&k
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
s,t)s t g8[ _*j1o2k:H5V Z0writer.addDocument(doc);ITPUB个人空间&k S*@4B7] f E [
writer.optimize();
$n t E O I0writer.close();ITPUB个人空间 M&_ A[ U V!Q x
ITPUB个人空间 M S u [ v X)@!L y
下面我们分析一下这段代码。ITPUB个人空间6v U @$C \ M.E
首先我们创建了一个writer，并指定存放索引的目录为“/data/index”，使用的分析器为StandardAnalyzer，第三个参数说明如果已经有索引文件在索引目录下，我们将覆盖它们。ITPUB个人空间;B0e w t ? z%U
然后我们新建一个document。ITPUB个人空间 i!@ tR t r b,G g l d
我们向document添加一个field，名字是“title”，内容是“lucene introduction”，对它进行存储并索引。
+U J | \*v)N0再添加一个名字是“content”的field，内容是“lucene works well”，也是存储并索引。ITPUB个人空间;^ L+j5a_ V,L
然后我们将这个文档添加到索引中，如果有多个文档，可以重复上面的操作，创建document并添加。ITPUB个人空间 ]#E-J _ ~ | d
添加完所有document，我们对索引进行优化，优化主要是将多个segment合并到一个，有利于提高索引速度。
7` i }8e c F _0随后将writer关闭，这点很重要。
&b n G x?!J g w0ITPUB个人空间5J ^5c2g0Q:S f"E
对，创建索引就这么简单！ITPUB个人空间!Q x S d"K t
当然你可能修改上面的代码获得更具个性化的服务。
U p ^9i a"F D0ITPUB个人空间;A V _!} f,S ? P\&Q
5.2 将索引直接写在内存
X B a3T(@-_0你需要首先创建一个RAMDirectory，并将其传给writer，代码如下：
#s M z+| q Y5?0ITPUB个人空间 ] ?3C C+w f Y+W+w K
Directory dir = new RAMDirectory();
R a;Q z Y p L%E B0IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);ITPUB个人空间4W x(j s ]6H4L)Z
Document doc = new Document();
b g c N X d0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间9{2`(x ]n I ^/{
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间 z~ j-x:q-Z a D
writer.addDocument(doc);ITPUB个人空间 l q J X o
writer.optimize();ITPUB个人空间3G } H v RF&a%js m
writer.close();ITPUB个人空间6R3V h4KbX
ITPUB个人空间 C1g O l3a-A"n3R o
5.3 索引文本文件
@'B u A#a { r G0如果你想把纯文本文件索引起来，而不想自己将它们读入字符串创建field，你可以用下面的代码创建field：
2x F e X+g!G5L0ITPUB个人空间#k3@$a h ?
Field field = new Field("content", new FileReader(file));
]C.J S y,r Z-O4\0ITPUB个人空间'E0P0f J:e*h x
这里的file就是该文本文件。该构造函数实际上是读去文件内容，并对其进行索引，但不存储。
}.t H6} g ]7_ R0ITPUB个人空间 { H dr y v;m D
6 如何维护索引
+F j2y5L1F3h8r0i H0索引的维护操作都是由IndexReader类提供。ITPUB个人空间 V)F*J ~ `1N M
ITPUB个人空间/O T Bi d ]
6.1 如何删除索引
*X%K r%J H#J K i8r K0lucene提供了两种从索引中删除document的方法，一种是ITPUB个人空间 V J _(e Z | g(A
c t9r x0\.A'P Z#q,JR0void deleteDocument(int docNum)
4Q3e q4a(T6? I R$h0ITPUB个人空间1c v w b+d A-g:B8~
这种方法是根据document在索引中的编号来删除，每个document加进索引后都会有个唯一编号，所以根据编号删除是一种精确删除，但是这个编号是索引的内部结构，一般我们不会知道某个文件的编号到底是几，所以用处不大。另一种是ITPUB个人空间"S&I AU ? i"l
ITPUB个人空间 y%p2e v5c
void deleteDocuments(Term term)ITPUB个人空间$T"R a,j4s m$F q
ITPUB个人空间8d o w0?,k+_
这种方法实际上是首先根据参数term执行一个搜索操作，然后把搜索到的结果批量删除了。我们可以通过这个方法提供一个严格的查询条件，达到删除指定document的目的。
*\'\ P5i#l:r0r#u0下面给出一个例子：ITPUB个人空间 s"A Q%u+n f%g:a
"j \ Z q f b S0Directory dir = FSDirectory.getDirectory(PATH, false);
P,P L:Q,s t X0IndexReader reader = IndexReader.open(dir);ITPUB个人空间 t/` S | f V
Term term = new Term(field, key);ITPUB个人空间 ? n U+c,s-L1~7A
reader.deleteDocuments(term);ITPUB个人空间)?7m z { \;x
reader.close();ITPUB个人空间 g#B {5N { t8y ? i
ITPUB个人空间8G C8R:P v O
6.2 如何更新索引ITPUB个人空间X,R,^$_8H
lucene并没有提供专门的索引更新方法，我们需要先将相应的document删除，然后再将新的document加入索引。例如：
-W3e X1d c [2k | i0
9O C8h L E |4K0e"w0Directory dir = FSDirectory.getDirectory(PATH, false);ITPUB个人空间"eR2S!? U2B
IndexReader reader = IndexReader.open(dir);ITPUB个人空间{B9q D:v
Term term = new Term(“title”, “lucene introduction”);
u x8D H2o O6i"k R9x)? y0reader.deleteDocuments(term);
!I _"q9A#L C)k5[0reader.close();
K.d q V G p e q T B7F0ITPUB个人空间-p u0I)t J1n$N.r&y2G+S
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);ITPUB个人空间 GP(W P f z
Document doc = new Document();
H6I S E N1T;q? r0doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));ITPUB个人空间 p C n F R4v b l X [
doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));
u U N T e F2j n _ G0writer.addDocument(doc);
(D2?'C` i Y0writer.optimize();
x-C H(u9y Df [&D0writer.close();
!V)R _ ?%i G8D07 如何搜索ITPUB个人空间 } }.? I o k8t7z
lucene 的搜索相当强大，它提供了很多辅助查询类，每个类都继承自Query类，各自完成一种特殊的查询，你可以像搭积木一样将它们任意组合使用，完成一些复杂操作；另外lucene还提供了Sort类对结果进行排序，提供了Filter类对查询条件进行限制。你或许会不自觉地拿它跟SQL语句进行比较：“lucene能执行and、or、order by、where、like ‘%xx%’操作吗？”回答是：“当然没问题！”ITPUB个人空间 E u i_+B-V*\ c:[
ITPUB个人空间 T8t } d-U V3s
7.1 各种各样的QueryITPUB个人空间 ^ o x"[4^.h h*w
下面我们看看lucene到底允许我们进行哪些查询操作：ITPUB个人空间+pT g d-| i-d
K&J W.S H F6A9t9B07.1.1 TermQuery
@ t r {9T-Q [W&^0首先介绍最基本的查询，如果你想执行一个这样的查询：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：ITPUB个人空间(M7x'Z^ j-N+R |
ITPUB个人空间#A i ?7l3D R
Term t = new Term("content", " lucene";ITPUB个人空间5\ W$Cr;i.Q'C
Query query = new TermQuery(t);
i | {0T6w0ITPUB个人空间&KI | Uk j
7.1.2 BooleanQuery
3h2Y @C ^ e#G N0如果你想这么查询：“在content域中包含java或perl的document”，那么你可以建立两个TermQuery并把它们用BooleanQuery连接起来：ITPUB个人空间 n([ N [)r s j&Kn5w
ITPUB个人空间%i/y*y'N!S V/k5A
TermQuery termQuery1 = new TermQuery(new Term("content", "java");
7I1@ i,O o.k b0TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");
q I%T s9L&V!A B0BooleanQuery booleanQuery = new BooleanQuery();
0Hc dZc c0booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);
3L E5_,`C A,C L%B0booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);ITPUB个人空间9C d b i9^ P O7x
ITPUB个人空间8H L^5~*Y:I9D o
7.1.3 WildcardQueryITPUB个人空间"M,l ~2] [2~,Q:x
如果你想对某单词进行通配符查询，你可以用WildcardQuery，通配符包括’?’匹配一个任意字符和’*’匹配零个或多个任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：ITPUB个人空间 }7v i$B8V A6p;]-~
ITPUB个人空间.@%M ^ i"M _ I
Query query = new WildcardQuery(new Term("content", "use*");ITPUB个人空间!}5l sc o F
ITPUB个人空间/S,D7p.B9C T!n&R
7.1.4 PhraseQueryITPUB个人空间 g w N k M L0h
你可能对中日关系比较感兴趣，想查找‘中’和‘日’挨得比较近（5个字的距离内）的文章，超过这个距离的不予考虑，你可以：ITPUB个人空间 ^ Q] u \ x R$_ g3h
v4{+d U g0Q z0PhraseQuery query = new PhraseQuery();
7w0t I x3I [0query.setSlop(5);
l/N U0~8[ f cd'S0query.add(new Term("content ", “中”));
5Z(q;M F3W o3D{0query.add(new Term(“content”, “日”));ITPUB个人空间 U h V y8Q U4b
ITPUB个人空间 m9F E%R V Q C
那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中国某高层领导说日本欠扁”。
I M0T5W ])x:h L9R)s Q0
0f U#|2L j [ n07.1.5 PrefixQueryITPUB个人空间,] v*B Q k+T2}
如果你想搜以‘中’开头的词语，你可以用PrefixQuery：
)d+nn J ` j$f)C0ITPUB个人空间 b P7b(O _:n"X y E1u3G
PrefixQuery query = new PrefixQuery(new Term("content ", "中");ITPUB个人空间 Y+PKD:T"~ R
ITPUB个人空间%K7Q L ^ O
7.1.6 FuzzyQuery
y t.A6i V n)e.A!P F0FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟‘wuzza’相似的词语，你可以：
-a b6? R a!Q z G `0ITPUB个人空间 sVZ*J K
Query query = new FuzzyQuery(new Term("content", "wuzza");
1W h)a&[ e8Ul S Q y1G0ITPUB个人空间7I P A B,iw t#c W
你可能得到‘fuzzy’和‘wuzzy’。
#}6G:j(Q(N/i3j u k0ITPUB个人空间 G#@"I/X"r1B.A/i
7.1.7 RangeQueryITPUB个人空间 f v1R o4l
另一个常用的Query是RangeQuery，你也许想搜索时间域从20060101到20060130之间的document，你可以用RangeQuery：ITPUB个人空间 G p Z'N b R1i,}+g1G
ITPUB个人空间5E x%m H*Y n b
RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);
dZ$hP v P j0ITPUB个人空间 k W2w,w&v
最后的true表示用闭合区间。ITPUB个人空间 v P ? {#o E&g
ITPUB个人空间;@ | [ m,{ r
7.2 QueryParser
We k6h)l:o0看了这么多Query，你可能会问：“不会让我自己组合各种Query吧，太麻烦了！”当然不会，lucene提供了一种类似于SQL语句的查询语句，我们姑且叫它lucene语句，通过它，你可以把各种查询一句话搞定，lucene会自动把它们查分成小块交给相应Query执行。下面我们对应每种 Query演示一下：ITPUB个人空间-j f ? o ` J [
TermQuery可以用“field:key”方式，例如“content:lucene”。
a _4Ep G m ` }0BooleanQuery中‘与’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。ITPUB个人空间&F [ I/m&t J4E
WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。ITPUB个人空间6a6E9{ Z'l p(l q
PhraseQuery用‘~’，例如“content:"中日"~5”。
x5f.\ ^'t0PrefixQuery用‘*’，例如“中*”。
n$M;s8E F w0FuzzyQuery用‘~’，例如“content: wuzza ~”。ITPUB个人空间2` ~ } S5[
RangeQuery用‘[]’或‘{}’，前者表示闭区间，后者表示开区间，例如“time:[20060101 TO 20060130]”，注意TO区分大小写。ITPUB个人空间 [8W z V c x7y ? r A N
你可以任意组合query string，完成复杂操作，例如“标题或正文包括lucene，并且时间在20060101到20060130之间的文章” 可以表示为：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。代码如下：
#f9y u N T0
| s d B t0Directory dir = FSDirectory.getDirectory(PATH, false);ITPUB个人空间%@ r w z I K {'_
IndexSearcher is = new IndexSearcher(dir);
1^ Hu4A _0^ U0QueryParser parser = new QueryParser("content", new StandardAnalyzer());ITPUB个人空间+f"C&T o"?&Q;\;W/L e
Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";ITPUB个人空间7T V:o L w `
Hits hits = is.search(query);
.s!n V*c2i&u v2a { n:we0for (int i = 0; i<hits.length(); i++)ITPUB个人空间 \0} i e5e
{ITPUB个人空间 U4Z*Q t;J*x d A
Document doc= hits.doc(i);
s&W5s KA T3S0System.out.println(doc.get("title");
D O v X)?0}ITPUB个人空间.X @!p(NH-k p6[ ]&M
is.close();
2B _ E W9e0
(cd W u.G)M9F6T0首先我们创建一个在指定文件目录上的IndexSearcher。ITPUB个人空间 _6r1M { u G,q B
然后创建一个使用StandardAnalyzer作为分析器的QueryParser，它默认搜索的域是content。
\ A X O;p#i!u)})W E0接着我们用QueryParser来parse查询字串，生成一个Query。
$r r8\ } _ i+U0然后利用这个Query去查找结果，结果以Hits的形式返回。ITPUB个人空间2O m0R f @+M N ] S Q J
这个Hits对象包含一个列表，我们挨个把它的内容显示出来。
(J i;i*h A9V;x0ITPUB个人空间 }9J ? F'| r T d S
7.3 FilterITPUB个人空间 k X+M [nv p?
filter 的作用就是限制只查询索引的某个子集，它的作用有点像SQL语句里的 where，但又有区别，它不是正规查询的一部分，只是对数据源进行预处理，然后交给查询语句。注意它执行的是预处理，而不是对查询结果进行过滤，所以使用filter的代价是很大的，它可能会使一次查询耗时提高一百倍。
i1G g J9j L r y5`2]*k0最常用的filter是RangeFilter和QueryFilter。RangeFilter是设定只搜索指定范围内的索引；QueryFilter是在上次查询的结果中搜索。ITPUB个人空间.l ` Z)F _ Z!q
Filter的使用非常简单，你只需创建一个filter实例，然后把它传给searcher。继续上面的例子，查询“时间在20060101到20060130之间的文章”除了将限制写在query string中，你还可以写在RangeFilter中：ITPUB个人空间 e [ b o~ e d
ITPUB个人空间3\ i3r&P*_ S
Directory dir= FSDirectory.getDirectory(PATH,false);
f%i&t6E.z {.T8T0IndexSearcher is= newIndexSearcher(dir);ITPUB个人空间 F#D4@ Q5F
QueryParser parser= newQueryParser("content", new StandardAnalyzer());ITPUB个人空间-Y A/|5vU*{3O.f)H bw
Query query= parser.parse("title:lucenecontent:lucene";
},g:g O W.V B z"A j0RangeFilter filter= newRangeFilter("time", "20060101", "20060230", true, true);ITPUB个人空间8c ]3] @-P [;q
Hits hits= is.search(query,filter);ITPUB个人空间 @ `Y G | _
for (int ii < hits.length(); i++)
N c K!h/Q v/@ m&K0{
G { w c } j"X z0Document doc= hits.doc(i);
|7h*H6N k4i5D z g0System.out.println(doc.get("title");ITPUB个人空间 T5Q X._;m r%b'q Q p R
}ITPUB个人空间 x-P h f k!t l"t&r Y#T
is.close();ITPUB个人空间3g,U1N { }
#h ]'tO U3@ H8z07.4 Sort
+Z"C,N4M!E7h p0有时你想要一个排好序的结果集，就像SQL语句的“order by”，lucene能做到：通过Sort。ITPUB个人空间:Y4k Y b N;p W1R
Sort sortSort(“time”); //相当于SQL的“order by time”ITPUB个人空间 zB Q r/e#g1| `
Sort sort= newSort(“time”, true); // 相当于SQL的“order by time desc”ITPUB个人空间"^4x U.F f E
下面是一个完整的例子：ITPUB个人空间 x p r7U(a8{ \ l H S
ITPUB个人空间 F*Z0`'K _ X4b:W
Directory dir= FSDirectory.getDirectory(PATH,false);ITPUB个人空间2AD8q _!o l h
IndexSearcher is= newIndexSearcher(dir);ITPUB个人空间%O1E J4N(H m
QueryParser parser= newQueryParser("content", new StandardAnalyzer());
$F R { M(_8K;F7?&X0Query query= parser.parse("title:lucenecontent:lucene";ITPUB个人空间 s:Q)_ F3` T
RangeFilter filter= newRangeFilter("time", "20060101", "20060230", true, true);ITPUB个人空间5h o Z N a/E
Sort sort= newSort(“time”);
\9@ ] ^+c)P/p0Hits hits= is.search(query,filter, sort);ITPUB个人空间w Bu:uh v K
for (int i= 0;i < hits.length(); i++)
w b a;P8I;O0{ITPUB个人空间 B9U s y X'V5X:a5z E
Document doc= hits.doc(i);ITPUB个人空间 I%J*{$AU o:V t
System.out.println(doc.get("title");
} a4C o(~'h0}
/r t"j A @7S6Q N'F!K A0is.close();ITPUB个人空间 ] U7[ `/w
T2z7a f i)sV$R T2v;j08 分析器
_4v,n \N&H _ L Gu)R0在前面的概念介绍中我们已经知道了分析器的作用，就是把句子按照语义切分成一个个词语。英文切分已经有了很成熟的分析器： StandardAnalyzer，很多情况下StandardAnalyzer是个不错的选择。甚至你会发现StandardAnalyzer也能对中文进行分词。ITPUB个人空间%j X C#j7g y,{
但是我们的焦点是中文分词，StandardAnalyzer能支持中文分词吗？实践证明是可以的，但是效果并不好，搜索“如果”会把“牛奶不如果汁好喝 ”也搜索出来，而且索引文件很大。那么我们手头上还有什么分析器可以使用呢？core里面没有，我们可以在sandbox里面找到两个： ChineseAnalyzer和CJKAnalyzer。但是它们同样都有分词不准的问题。相比之下用StandardAnalyzer 和 ChineseAnalyzer建立索引时间差不多，索引文件大小也差不多，CJKAnalyzer表现会差些，索引文件大且耗时比较长。
&X |9| Uy+c'|0要解决问题，首先分析一下这三个分析器的分词方式。StandardAnalyzer和ChineseAnalyzer都是把句子按单个字切分，也就是说 “牛奶不如果汁好喝”会被它们切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer则会切分成“牛奶 奶不 不如 如果 果汁汁好好喝”。这也就解释了为什么搜索“果汁”都能匹配这个句子。ITPUB个人空间 s(_K m j(E
以上分词的缺点至少有两个：匹配不准确和索引文件大。我们的目标是将上面的句子分解成“牛奶 不如 果汁好喝”。这里的关键就是语义识别，我们如何识别“ 牛奶”是一个词而“奶不”不是词语？我们很自然会想到基于词库的分词法，也就是我们先得到一个词库，里面列举了大部分词语，我们把句子按某种方式切分，当得到的词语与词库中的项匹配时，我们就认为这种切分是正确的。这样切词的过程就转变成匹配的过程，而匹配的方式最简单的有正向最大匹配和逆向最大匹配两种，说白了就是一个从句子开头向后进行匹配，一个从句子末尾向前进行匹配。基于词库的分词词库非常重要，词库的容量直接影响搜索结果，在相同词库的前提下，据说逆向最大匹配优于正向最大匹配。ITPUB个人空间 X ^ V7b6Z#}
当然还有别的分词方法，这本身就是一个学科，我这里也没有深入研究。回到具体应用，我们的目标是能找到成熟的、现成的分词工具，避免重新发明车轮。经过网上搜索，用的比较多的是中科院的ICTCLAS和一个不开放源码但是免费的JE-Analysis。ICTCLAS有个问题是它是一个动态链接库， java调用需要本地方法调用，不方便也有安全隐患，而且口碑也确实不大好。JE-Analysis效果还不错，当然也会有分词不准的地方，相比比较方便放心。= new= 0;
9 性能优化
l/e d+s R+Y0一直到这里，我们还是在讨论怎么样使lucene跑起来，完成指定任务。利用前面说的也确实能完成大部分功能。但是测试表明lucene的性能并不是很好，在大数据量大并发的条件下甚至会有半分钟返回的情况。另外大数据量的数据初始化建立索引也是一个十分耗时的过程。那么如何提高lucene的性能呢？下面从优化创建索引性能和优化搜索性能两方面介绍。ITPUB个人空间 p'e i'w r D;l
0V-k T)I-? M09.1 优化创建索引性能ITPUB个人空间 ] ` w4xG%hR'y } T&t
这方面的优化途径比较有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我们可以先将索引写入RAMDirectory，再批量写入FSDirectory，不管怎样，目的都是尽量少的文件IO，因为创建索引的最大瓶颈在于磁盘IO。另外选择一个较好的分析器也能提高一些性能。ITPUB个人空间8d s `1v F&r
U K J'Q N0v"v09.1.1 通过设置IndexWriter的参数优化索引建立
@ q2Q/p;M3{0setMaxBufferedDocs(int maxBufferedDocs)
+N @8D/A4[ J:W+c!d0控制写入一个新的segment前内存中保存的document的数目，设置较大的数目可以加快建索引速度，默认为10。ITPUB个人空间 X N;K j n o C2B b R
setMaxMergeDocs(int maxMergeDocs)ITPUB个人空间+R&` q J H;E v p,~ v
控制一个segment中可以保存的最大document数目，值较小有利于追加索引的速度，默认Integer.MAX_VALUE，无需修改。
#W T n3@+O9H ~ ^4K,s0setMergeFactor(int mergeFactor)ITPUB个人空间 F ^ Z2~T a ^(b;C
控制多个segment合并的频率，值较大时建立索引速度较快，默认是10，可以在建立索引时设置为100。ITPUB个人空间-P7L5C Z)`;]1O*K yV bg
ITPUB个人空间 a7F.Z r J s8P)g8R
9.1.2 通过RAMDirectory缓写提高性能
7v%Y }4m"_3t ]0我们可以先把索引写入RAMDirectory，达到一定数量时再批量写进FSDirectory，减少磁盘IO次数。ITPUB个人空间 l ~ E o.s
5a ~ f p p H_.E-s!Y0FSDirectory fsDir= FSDirectory.getDirectory("/data/index",true);
:[-C9d5]%`6\0RAMDirectory ramDir= newRAMDirectory();
1I D h B \$P0IndexWriter fsWriter= newIndexWriter(fsDir, new StandardAnalyzer(), true);
q!O.R s n z T Y7]0IndexWriter ramWriter= newIndexWriter(ramDir, new StandardAnalyzer(), true);
%S+V/K V!| q y D(c K2a0while (there are documents to index)ITPUB个人空间 | q ^ ^ Y A/V [ e
{ITPUB个人空间 b/I _ l&L3q#d:X l
... create Document ...ITPUB个人空间 L7E9Y x5].a
ramWriter.addDocument(doc);ITPUB个人空间 l3W6I3E Z1c(A
if (condition for flushing memory to disk has been met)ITPUB个人空间 W O o } ?'` h { I
{
{(t p%V,J6|$a$U m0fsWriter.addIndexes(new Directory[] { ramDir });
a9? b7\ r#i0ramWriter.close();
2B#? o:W aU u1`0ramWriter= newIndexWriter(ramDir, new StandardAnalyzer(), true);ITPUB个人空间*M ~ |&G%J8{
}ITPUB个人空间 I K { U+L D N$z
}ITPUB个人空间 M8K7`P P ^ f$K ] [
8D8d9{ p a O ^09.1.3 选择较好的分析器ITPUB个人空间4k F1j%u G7~ r
这个优化主要是对磁盘空间的优化，可以将索引文件减小将近一半，相同测试数据下由600M减少到380M。但是对时间并没有什么帮助，甚至会需要更长时间，因为较好的分析器需要匹配词库，会消耗更多cpu，测试数据用StandardAnalyzer耗时133分钟；用MMAnalyzer耗时150分钟。
L0C$H o2r0U X:d P P0
p S$c ? eP [ N.\09.2 优化搜索性能
0g1`*X d _ _ C X"L0虽然建立索引的操作非常耗时，但是那毕竟只在最初创建时才需要，平时只是少量的维护操作，更何况这些可以放到一个后台进程处理，并不影响用户搜索。我们创建索引的目的就是给用户搜索，所以搜索的性能才是我们最关心的。下面就来探讨一下如何提高搜索性能。ITPUB个人空间)u4l U C4^
ITPUB个人空间5]"v Q H%| C D
9.2.1 将索引放入内存ITPUB个人空间%o-T N Q X4}6z:~E
这是一个最直观的想法，因为内存比磁盘快很多。Lucene提供了RAMDirectory可以在内存中容纳索引：
f V K+T9m2Wa p0ITPUB个人空间$V5_N | o A F
Directory fsDir= FSDirectory.getDirectory(“/data/index/”,false);ITPUB个人空间 l4B!v R H+@E
Directory ramDir= newRAMDirectory(fsDir);ITPUB个人空间 o nD M*p3L i
Searcher searcher= newIndexSearcher(ramDir);ITPUB个人空间5u o'j$c(W,t&K&v
ITPUB个人空间 j#p a2s1]7Z9G&^
但是实践证明RAMDirectory和FSDirectory速度差不多，当数据量很小时两者都非常快，当数据量较大时（索引文件400M）RAMDirectory甚至比FSDirectory还要慢一点，这确实让人出乎意料。ITPUB个人空间 T U#m _ |Z#A _;s m
而且lucene的搜索非常耗内存，即使将400M的索引文件载入内存，在运行一段时间后都会out of memory，所以个人认为载入内存的作用并不大。ITPUB个人空间 F M r U S K
,v ? a L f ^z,jF/d09.2.2 优化时间范围限制
y2M fa {,Z z d2^0既然载入内存并不能提高效率，一定有其它瓶颈，经过测试发现最大的瓶颈居然是时间范围限制，那么我们可以怎样使时间范围限制的代价最小呢？
.Q b C ^9EU b0当需要搜索指定时间范围内的结果时，可以：ITPUB个人空间!C3| x V G8x Y
1、用RangeQuery，设置范围，但是RangeQuery的实现实际上是将时间范围内的时间点展开，组成一个个BooleanClause加入到 BooleanQuery中查询，因此时间范围不可能设置太大，经测试，范围超过一个月就会抛 BooleanQuery.TooManyClauses，可以通过设置 BooleanQuery.setMaxClauseCount(int maxClauseCount)扩大，但是扩大也是有限的，并且随着 maxClauseCount扩大，占用内存也扩大
2l*l&J$| ^ ]02、用 RangeFilter代替RangeQuery，经测试速度不会比RangeQuery慢，但是仍然有性能瓶颈，查询的90%以上时间耗费在 RangeFilter，研究其源码发现RangeFilter实际上是首先遍历所有索引，生成一个BitSet，标记每个document，在时间范围内的标记为true，不在的标记为false，然后将结果传递给Searcher查找，这是十分耗时的。
8P n P H6\ | ~ Z p03、进一步提高性能，这个又有两个思路：
-b+K v R:^ G3HY0a、缓存Filter结果。既然RangeFilter的执行是在搜索之前，那么它的输入都是一定的，就是IndexReader，而 IndexReader是由Directory决定的，所以可以认为RangeFilter的结果是由范围的上下限决定的，也就是由具体的 RangeFilter对象决定，所以我们只要以RangeFilter对象为键，将filter结果BitSet缓存起来即可。 lucene API已经提供了一个CachingWrapperFilter类封装了Filter及其结果，所以具体实施起来我们可以 cache CachingWrapperFilter对象，需要注意的是，不要被CachingWrapperFilter的名字及其说明误导， CachingWrapperFilter看起来是有缓存功能，但的缓存是针对同一个filter的，也就是在你用同一个filter过滤不同 IndexReader时，它可以帮你缓存不同IndexReader的结果，而我们的需求恰恰相反，我们是用不同filter过滤同一个 IndexReader，所以只能把它作为一个封装类。
Q _ [ a&` O o0b、降低时间精度。研究Filter的工作原理可以看出，它每次工作都是遍历整个索引的，所以时间粒度越大，对比越快，搜索时间越短，在不影响功能的情况下，时间精度越低越好，有时甚至牺牲一点精度也值得，当然最好的情况是根本不作时间限制。
j O z \ s Z.j DX0下面针对上面的两个思路演示一下优化结果（都采用800线程随机关键词随即时间范围）：ITPUB个人空间!} E _(X a y4d7D
第一组，时间精度为秒：
i {)@&z0R [ N0方式 直接用RangeFilter 使用cache 不用filterITPUB个人空间 @ e9OY8l H S$W V Y |
平均每个线程耗时 10s 1s 300ms
z(W w6F q0ITPUB个人空间 y A9~5] n;V:e
第二组，时间精度为天
7Y0{ Wf O X Y X P0方式 直接用RangeFilter 使用cache 不用filterITPUB个人空间 p6~*| {!_)U
平均每个线程耗时 900ms 360ms 300msITPUB个人空间 u3N/u6Q S;P WB
(X1o.{ a1Bg1? a"G+~0由以上数据可以得出结论：
[5^?0voL2Q01、 尽量降低时间精度，将精度由秒换成天带来的性能提高甚至比使用cache还好，最好不使用filter。
3e k Pr)D02、 在不能降低时间精度的情况下，使用cache能带了10倍左右的性能提高。
+{ x [*D6n/t0
e k.K G Q)p R"\09.2.3 使用更好的分析器ITPUB个人空间 | s5P z ^/v$\;} x&P
这个跟创建索引优化道理差不多，索引文件小了搜索自然会加快。当然这个提高也是有限的。较好的分析器相对于最差的分析器对性能的提升在20%以下。
)l n5T O {#T r)c m0ITPUB个人空间3S#[4Q d-_ b/b [
10 一些经验
`"a e g |/w3I ]*u P1s0
c5q x d Z010.1关键词区分大小写ITPUB个人空间)[ u V4M K [
or AND TO等关键词是区分大小写的，lucene只认大写的，小写的当做普通单词。ITPUB个人空间 N J[8X%`"\ V Q H
V"t#r&^0i010.2 读写互斥性
,Hu Q A ? v:a0同一时刻只能有一个对索引的写操作，在写的同时可以进行搜索
{,P Bh J0
\ r)@ k9U F T&Z010.3 文件锁ITPUB个人空间7Z O t m K _4O,@O-u i+|
在写索引的过程中强行退出将在tmp目录留下一个lock文件，使以后的写操作无法进行，可以将其手工删除
a+ng/M y M;G0ITPUB个人空间 K r G R/M1V T b u z
10.4 时间格式
:h VT6w.y j { V$F w-X0lucene只支持一种时间格式yyMMddHHmmss，所以你传一个yy-MM-dd HH:mm:ss的时间给lucene它是不会当作时间来处理的
.r5E y q }#b I#_0
w J e h/L ] p t010.5 设置boostITPUB个人空间(p j e D W D5b W
有些时候在搜索时某个字段的权重需要大一些，例如你可能认为标题中出现关键词的文章比正文中出现关键词的文章更有价值，你可以把标题的boost设置的更大，那么搜索结果会优先显示标题中出现关键词的文章（没有使用排序的前题下）。使用方法：
z2W6V S M z E)? L A(o0Field. setBoost(float boost);默认值是1.0，也就是说要增加权重的需要设置得比1大。
l/e d+s R+Y0一直到这里，我们还是在讨论怎么样使lucene跑起来，完成指定任务。利用前面说的也确实能完成大部分功能。但是测试表明lucene的性能并不是很好，在大数据量大并发的条件下甚至会有半分钟返回的情况。另外大数据量的数据初始化建立索引也是一个十分耗时的过程。那么如何提高lucene的性能呢？下面从优化创建索引性能和优化搜索性能两方面介绍。ITPUB个人空间 p'e i'w r D;l
0V-k T)I-? M09.1 优化创建索引性能ITPUB个人空间 ] ` w4xG%hR'y } T&t
这方面的优化途径比较有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我们可以先将索引写入RAMDirectory，再批量写入FSDirectory，不管怎样，目的都是尽量少的文件IO，因为创建索引的最大瓶颈在于磁盘IO。另外选择一个较好的分析器也能提高一些性能。ITPUB个人空间8d s `1v F&r
U K J'Q N0v"v09.1.1 通过设置IndexWriter的参数优化索引建立
@ q2Q/p;M3{0setMaxBufferedDocs(int maxBufferedDocs)
+N @8D/A4[ J:W+c!d0控制写入一个新的segment前内存中保存的document的数目，设置较大的数目可以加快建索引速度，默认为10。ITPUB个人空间 X N;K j n o C2B b R
setMaxMergeDocs(int maxMergeDocs)ITPUB个人空间+R&` q J H;E v p,~ v
控制一个segment中可以保存的最大document数目，值较小有利于追加索引的速度，默认Integer.MAX_VALUE，无需修改。
#W T n3@+O9H ~ ^4K,s0setMergeFactor(int mergeFactor)ITPUB个人空间 F ^ Z2~T a ^(b;C
控制多个segment合并的频率，值较大时建立索引速度较快，默认是10，可以在建立索引时设置为100。ITPUB个人空间-P7L5C Z)`;]1O*K yV bg
ITPUB个人空间 a7F.Z r J s8P)g8R
9.1.2 通过RAMDirectory缓写提高性能
7v%Y }4m"_3t ]0我们可以先把索引写入RAMDirectory，达到一定数量时再批量写进FSDirectory，减少磁盘IO次数。ITPUB个人空间 l ~ E o.s
5a ~ f p p H_.E-s!Y0FSDirectory fsDir= FSDirectory.getDirectory("/data/index",true);
:[-C9d5]%`6\0RAMDirectory ramDir= newRAMDirectory();
1I D h B \$P0IndexWriter fsWriter= newIndexWriter(fsDir, new StandardAnalyzer(), true);
q!O.R s n z T Y7]0IndexWriter ramWriter= newIndexWriter(ramDir, new StandardAnalyzer(), true);
%S+V/K V!| q y D(c K2a0while (there are documents to index)ITPUB个人空间 | q ^ ^ Y A/V [ e
{ITPUB个人空间 b/I _ l&L3q#d:X l
... create Document ...ITPUB个人空间 L7E9Y x5].a
ramWriter.addDocument(doc);ITPUB个人空间 l3W6I3E Z1c(A
if (condition for flushing memory to disk has been met)ITPUB个人空间 W O o } ?'` h { I
{
{(t p%V,J6|$a$U m0fsWriter.addIndexes(new Directory[] { ramDir });
a9? b7\ r#i0ramWriter.close();
2B#? o:W aU u1`0ramWriter= newIndexWriter(ramDir, new StandardAnalyzer(), true);ITPUB个人空间*M ~ |&G%J8{
}ITPUB个人空间 I K { U+L D N$z
}ITPUB个人空间 M8K7`P P ^ f$K ] [
8D8d9{ p a O ^09.1.3 选择较好的分析器ITPUB个人空间4k F1j%u G7~ r
这个优化主要是对磁盘空间的优化，可以将索引文件减小将近一半，相同测试数据下由600M减少到380M。但是对时间并没有什么帮助，甚至会需要更长时间，因为较好的分析器需要匹配词库，会消耗更多cpu，测试数据用StandardAnalyzer耗时133分钟；用MMAnalyzer耗时150分钟。
L0C$H o2r0U X:d P P0
p S$c ? eP [ N.\09.2 优化搜索性能
0g1`*X d _ _ C X"L0虽然建立索引的操作非常耗时，但是那毕竟只在最初创建时才需要，平时只是少量的维护操作，更何况这些可以放到一个后台进程处理，并不影响用户搜索。我们创建索引的目的就是给用户搜索，所以搜索的性能才是我们最关心的。下面就来探讨一下如何提高搜索性能。ITPUB个人空间)u4l U C4^
ITPUB个人空间5]"v Q H%| C D
9.2.1 将索引放入内存ITPUB个人空间%o-T N Q X4}6z:~E
这是一个最直观的想法，因为内存比磁盘快很多。Lucene提供了RAMDirectory可以在内存中容纳索引：
f V K+T9m2Wa p0ITPUB个人空间$V5_N | o A F
Directory fsDir= FSDirectory.getDirectory(“/data/index/”,false);ITPUB个人空间 l4B!v R H+@E
Directory ramDir= newRAMDirectory(fsDir);ITPUB个人空间 o nD M*p3L i
Searcher searcher= newIndexSearcher(ramDir);ITPUB个人空间5u o'j$c(W,t&K&v
ITPUB个人空间 j#p a2s1]7Z9G&^
但是实践证明RAMDirectory和FSDirectory速度差不多，当数据量很小时两者都非常快，当数据量较大时（索引文件400M）RAMDirectory甚至比FSDirectory还要慢一点，这确实让人出乎意料。ITPUB个人空间 T U#m _ |Z#A _;s m
而且lucene的搜索非常耗内存，即使将400M的索引文件载入内存，在运行一段时间后都会out of memory，所以个人认为载入内存的作用并不大。ITPUB个人空间 F M r U S K
,v ? a L f ^z,jF/d09.2.2 优化时间范围限制
y2M fa {,Z z d2^0既然载入内存并不能提高效率，一定有其它瓶颈，经过测试发现最大的瓶颈居然是时间范围限制，那么我们可以怎样使时间范围限制的代价最小呢？
.Q b C ^9EU b0当需要搜索指定时间范围内的结果时，可以：ITPUB个人空间!C3| x V G8x Y
1、用RangeQuery，设置范围，但是RangeQuery的实现实际上是将时间范围内的时间点展开，组成一个个BooleanClause加入到 BooleanQuery中查询，因此时间范围不可能设置太大，经测试，范围超过一个月就会抛 BooleanQuery.TooManyClauses，可以通过设置 BooleanQuery.setMaxClauseCount(int maxClauseCount)扩大，但是扩大也是有限的，并且随着 maxClauseCount扩大，占用内存也扩大
2l*l&J$| ^ ]02、用 RangeFilter代替RangeQuery，经测试速度不会比RangeQuery慢，但是仍然有性能瓶颈，查询的90%以上时间耗费在 RangeFilter，研究其源码发现RangeFilter实际上是首先遍历所有索引，生成一个BitSet，标记每个document，在时间范围内的标记为true，不在的标记为false，然后将结果传递给Searcher查找，这是十分耗时的。
8P n P H6\ | ~ Z p03、进一步提高性能，这个又有两个思路：
-b+K v R:^ G3HY0a、缓存Filter结果。既然RangeFilter的执行是在搜索之前，那么它的输入都是一定的，就是IndexReader，而 IndexReader是由Directory决定的，所以可以认为RangeFilter的结果是由范围的上下限决定的，也就是由具体的 RangeFilter对象决定，所以我们只要以RangeFilter对象为键，将filter结果BitSet缓存起来即可。 lucene API已经提供了一个CachingWrapperFilter类封装了Filter及其结果，所以具体实施起来我们可以 cache CachingWrapperFilter对象，需要注意的是，不要被CachingWrapperFilter的名字及其说明误导， CachingWrapperFilter看起来是有缓存功能，但的缓存是针对同一个filter的，也就是在你用同一个filter过滤不同 IndexReader时，它可以帮你缓存不同IndexReader的结果，而我们的需求恰恰相反，我们是用不同filter过滤同一个 IndexReader，所以只能把它作为一个封装类。
Q _ [ a&` O o0b、降低时间精度。研究Filter的工作原理可以看出，它每次工作都是遍历整个索引的，所以时间粒度越大，对比越快，搜索时间越短，在不影响功能的情况下，时间精度越低越好，有时甚至牺牲一点精度也值得，当然最好的情况是根本不作时间限制。
j O z \ s Z.j DX0下面针对上面的两个思路演示一下优化结果（都采用800线程随机关键词随即时间范围）：ITPUB个人空间!} E _(X a y4d7D
第一组，时间精度为秒：
i {)@&z0R [ N0方式 直接用RangeFilter 使用cache 不用filterITPUB个人空间 @ e9OY8l H S$W V Y |
平均每个线程耗时 10s 1s 300ms
z(W w6F q0ITPUB个人空间 y A9~5] n;V:e
第二组，时间精度为天
7Y0{ Wf O X Y X P0方式 直接用RangeFilter 使用cache 不用filterITPUB个人空间 p6~*| {!_)U
平均每个线程耗时 900ms 360ms 300msITPUB个人空间 u3N/u6Q S;P WB
(X1o.{ a1Bg1? a"G+~0由以上数据可以得出结论：
[5^?0voL2Q01、 尽量降低时间精度，将精度由秒换成天带来的性能提高甚至比使用cache还好，最好不使用filter。
3e k Pr)D02、 在不能降低时间精度的情况下，使用cache能带了10倍左右的性能提高。
+{ x [*D6n/t0
e k.K G Q)p R"\09.2.3 使用更好的分析器ITPUB个人空间 | s5P z ^/v$\;} x&P
这个跟创建索引优化道理差不多，索引文件小了搜索自然会加快。当然这个提高也是有限的。较好的分析器相对于最差的分析器对性能的提升在20%以下。
)l n5T O {#T r)c m0ITPUB个人空间3S#[4Q d-_ b/b [
10 一些经验
`"a e g |/w3I ]*u P1s0
c5q x d Z010.1关键词区分大小写ITPUB个人空间)[ u V4M K [
or AND TO等关键词是区分大小写的，lucene只认大写的，小写的当做普通单词。ITPUB个人空间 N J[8X%`"\ V Q H
V"t#r&^0i010.2 读写互斥性
,Hu Q A ? v:a0同一时刻只能有一个对索引的写操作，在写的同时可以进行搜索
{,P Bh J0
\ r)@ k9U F T&Z010.3 文件锁ITPUB个人空间7Z O t m K _4O,@O-u i+|
在写索引的过程中强行退出将在tmp目录留下一个lock文件，使以后的写操作无法进行，可以将其手工删除
a+ng/M y M;G0ITPUB个人空间 K r G R/M1V T b u z
10.4 时间格式
:h VT6w.y j { V$F w-X0lucene只支持一种时间格式yyMMddHHmmss，所以你传一个yy-MM-dd HH:mm:ss的时间给lucene它是不会当作时间来处理的
.r5E y q }#b I#_0
w J e h/L ] p t010.5 设置boostITPUB个人空间(p j e D W D5b W
有些时候在搜索时某个字段的权重需要大一些，例如你可能认为标题中出现关键词的文章比正文中出现关键词的文章更有价值，你可以把标题的boost设置的更大，那么搜索结果会优先显示标题中出现关键词的文章（没有使用排序的前题下）。使用方法：
z2W6V S M z E)? L A(o0Field. setBoost(float boost);默认值是1.0，也就是说要增加权重的需要设置得比1大。
扫一扫
100
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
