lucene 源码分析

1. 1. //org.apache.lucene.index => DocumentsWriter.java
   2.       /* Invert one occurrence of one field in the document */
   3.       public void invertField(Fieldable field, Analyzer analyzer, final int maxFieldLength) throws IOException, AbortException {
   6.         if (length>0)
   7.           position += analyzer.getPositionIncrementGap(fieldInfo.name);
   10.         if (!field.isTokenized()) {  // un-tokenized field 不用分成的field
   11.           String stringValue = field.stringValue();
   12.           final int valueLength = stringValue.length();
   13.           Token token = localToken;
   14.           token.clear();
   15.           char[] termBuffer = token.termBuffer();
   16.           if (termBuffer.length < valueLength)
   17.             termBuffer = token.resizeTermBuffer(valueLength);
   18.           stringValue.getChars(0, valueLength, termBuffer, 0);
   19.           token.setTermLength(valueLength);
   20.           token.setStartOffset(offset);
   21.           token.setEndOffset(offset + stringValue.length());
   22.           addPosition(token);
   23.           offset += stringValue.length();
   24.           length++;
   25.         } else {                                  // tokenized field 要分词的
   26.           final TokenStream stream;
   27.           final TokenStream streamValue = field.tokenStreamValue();
   30.           if (streamValue != null) 
   31.             stream = streamValue;
   32.           else {
   33.             // the field does not have a TokenStream,
   34.             // so we have to obtain one from the analyzer
   35.             final Reader reader;  // find or make Reader
   36.             final Reader readerValue = field.readerValue();
   39.             if (readerValue != null)
   40.               reader = readerValue;
   41.             else {
   42.               String stringValue = field.stringValue();
   43.               if (stringValue == null)
   44.                 throw new IllegalArgumentException("field must have either TokenStream, String or Reader value");
   45.               stringReader.init(stringValue);
   46.               reader = stringReader;
   47.             }
   48.           
   49.             // Tokenize field and add to postingTable
   50.             stream = analyzer.reusableTokenStream(fieldInfo.name, reader);
   51.           }
   54.           // reset the TokenStream to the first token
   55.           stream.reset();
   58.           try {
   59.             offsetEnd = offset-1;
   60.             for(;;) {
   61.               Token token = stream.next(localToken);  //在这里分词
   62.               if (token == null) break;
   63.               position += (token.getPositionIncrement() - 1);
   64.               addPosition(token);
   65.               if (++length >= maxFieldLength) {
   66.                 if (infoStream != null)
   67.                   infoStream.println("maxFieldLength " +maxFieldLength+ " reached for field " + fieldInfo.name + ", ignoring following tokens");
   68.                 break;
   69.               }
   70.             }
   71.             offset = offsetEnd+1;
   72.           } finally {
   73.             stream.close();
   74.           }
   75.         }
   78.         boost *= field.getBoost();
   79.       }
   //DirectoryIndexReader.java
3.   static DirectoryIndexReader open(final Directory directory, final boolean closeDirectory, final IndexDeletionPolicy deletionPolicy) throws CorruptIndexException, IOException {
6.     return (DirectoryIndexReader) new SegmentInfos.FindSegmentsFile(directory) { //具体化FindSegmentsFile这个抽象类，它是SegmentInfos的子类
9.       protected Object doBody(String segmentFileName) throws CorruptIndexException, IOException {
12.         SegmentInfos infos = new SegmentInfos();
13.         infos.read(directory, segmentFileName);
16.         DirectoryIndexReader reader;
19.         if (infos.size() == 1) {          // index is optimized
20.           reader = SegmentReader.get(infos, infos.info(0), closeDirectory);
21.         } else {
22.           reader = new MultiSegmentReader(directory, infos, closeDirectory);
23.         }
24.         reader.setDeletionPolicy(deletionPolicy);
25.         return reader;    
26.       }
27.     }.run();//具体化后就new了个对象，然后立即调用run(), run()里面会调用这个具体化了的doBody().
28.   }