java lucene 3.0.3_Lucene 3.0.0 之样例解析(3)-IndexFiles.java

一. consumer的来源

接着上一小节的内容, 还是从这一段程序(位于DocumentWriter.updateDocument(Document, Analyzer, Term) 中继续.

try {

// This call is not synchronized and does all the

// work

final DocWriter perDoc = state.consumer.processDocument();

// This call is synchronized but fast

finishDocument(state, perDoc);

success = true;

}

第一句话就是生成索引的一个过程, 下面我将详细的剖析这个过程.

首先一个问题就是:consumer是怎么来的? 什么时候初始化的, 我们用单步程序的方法来看看.

state是从上一节提到的

synchronized DocumentsWriterThreadState getThreadState(Document doc, Term delTerm)

中得到的, 我们进去看看... 原来是这一句话,

state = newArray[threadStates.length] = new DocumentsWriterThreadState(this);

跟踪进去看看, DocumentWriterThreadState的构造函数, 发现了这一句:

consumer = docWriter.consumer.addThread(this);

原来还是从docWriter中来的, 我们继续查看docWriter里面是怎样进行的初始化的.

DocumentsWriter(Directory directory, IndexWriter writer, IndexingChain indexingChain) throws IOException {

//...省略了

consumer = indexingChain.getChain(this);

if (consumer instanceof DocFieldProcessor) {

docFieldProcessor = (DocFieldProcessor) consumer;

}

}

咱们再看看indexingChain.getChain(this)这个方法是怎么回事

再跟踪进去, 就真相大白了:

DocConsumer getChain(DocumentsWriter documentsWriter) {

// Build up indexing chain:

final TermsHashConsumer termVectorsWriter = new TermVectorsTermsWriter(documentsWriter);

final TermsHashConsumer freqProxWriter = new FreqProxTermsWriter();

final InvertedDocConsumer termsHash = new TermsHash(documentsWriter, true, freqProxWriter,

new TermsHash(documentsWriter, false, termVectorsWriter, null));

final NormsWriter normsWriter = new NormsWriter();

final DocInverter docInverter = new DocInverter(termsHash, normsWriter);

return new DocFieldProcessor(documentsWriter, docInverter);

}

这个就是一个非常典型的 装饰者 + 责任链 模式, 这样当我们运行:

final DocWriter perDoc = state.consumer.processDocument();

时, 就会在IndexChain内部进行一系列的击鼓传花似的活动, 最终得到处理后的文档.

二. IndexChain的运转过程

前面说了, IndexChian就是一个击鼓传花的过程, 那这个花是怎么传的呢? 让我们来揭开这个迷

我画了一个流程图, 希望可以讲得更清楚一点, 另外我先说明一下图的颜色所代表的含义, 同样的颜色表示的是在同一个类中运行的过程. 箭头的指向表示过程或者关系, 比如说 DocInverterPerThread就是DocFieldProcessorPerThread的一个consumer. 前面的数字表示调用的顺序

1)的入口就是processDocument, 下面调用了一系列的startDocument()函数,  这些函数的作用是对之后做postings所使用的consumer, processor进行初始化, 其实大部分的startDocument()内容为空, 显然, 这是Lucene的开发者为后面的人所预留的一个接口. 这6部可以认为是初始化的内容.

然后下面一张图就是处理的一个具体内容了:

先从类命名来说说吧. 可以大概看出, 跟consumer相关的类有几种主要的命名规则:

1) 结尾带有Processor的,  这些类是一个基类, 负责调用结尾结尾是Consumer.

2) 结尾带有Consumer的, 这些类通常被Processor来调用

3) 结尾带有PerThread的, 这些类负责调用PerField的

也可以认为, PerThread是负责调用一系列的PerField, 为什么这样设计我也不能完全说清楚, 如果有哪些朋友知道请指教.

接下来我将详细的说说TermHashPerField.add()方法, 这个方法是把一个Term加入到Posting表中的过程, 我非常希望能够理解大部分的内容, 如果有错误或者不清楚的地方也希望大家能够不吝赐教