Lucene入门教程（二）- 理解索引过程的核心类

在上一篇博客，我们了解了索引，并使用代码创建了索引，下面，我们说一下，索引过程中用到的核心类。

回顾一下，上一篇博客中我们的IndexFiles，这个类可以创建一个索引，看一下和Lucene有关的代码，有多少，发现了什么，

是不是有很多关于IO操作的代码，而真正和Lucene相关的代码不是很多。

    Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT);

    // Store the index in memory:
    Directory directory = new RAMDirectory();
    // To store an index on disk, use this instead:
    //Directory directory = FSDirectory.open("/tmp/testindex");
    IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_CURRENT, analyzer);
    IndexWriter iwriter = new IndexWriter(directory, config);
    Document doc = new Document();
    String text = "This is the text to be indexed.";
    doc.add(new Field("fieldname", text, TextField.TYPE_STORED));
    iwriter.addDocument(doc);
    iwriter.close();

上面这几行代码找不多就够了，下面，我们了解一下，这些核心类是干什么的。

1. IndexWriter

        用于创建一个新的索引，并文档加到已有的索引当中去。可以把IndexWriter当做这样的对象：他可以为你提供对索引的写入操作，但不能用于读取或搜索。

2. Directory

        描述了索引存放的位置，FSDirectory将索引存放在真实的文件系统中。

3. Analyzer

        在文本被索引之前，需要经过分析器（Analyzer）的处理。在IndexWriter初始化是，我们指定了要使用的分析器，

它负责从将要被索引的的文本文件中提取词汇单元（tokens），并剔除剩下的无用信息。

4. Document

        Document代表一些域（Field）的集合。可以把Document对象当成一个虚拟的文档-比如一个Web界面、文本文件等，可以从中取出大量的数据。

5. Field

        索引中，每一个Document对象都包含一个或多个不同命名的域（Field），这些域包含于Field类中。每个域都对应一段数据，这些数据在搜索过程中，

可能会被查询或者在索引中被检索。

我们了解了核心的类，下面，我有重构了一下IndexFiles类，其中，主要是删除了一些参数校验什么的，让Lucene的代码更加的明显。

package org.ygy.lucene;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

/**
 * 建立索引
 * 
 * @author yuguiyang
 * 
 */
public class IndexFiles {

	/**
	 * 创建索引
	 * 
	 * @param indexPath
	 *            存放索引的路径
	 * @param docDir
	 *            文档所在的文件
	 * @throws IOException
	 */
	private static void createIndex(String indexPath, String docsPath) throws IOException {

		// 验证资源文件地址
		File docDir = new File(docsPath);
		if ((!docDir.exists()) || (!docDir.canRead())) {
			System.out.println("Document directory '" + docDir.getAbsolutePath()
					+ "' does not exist or is not readable, please check the path");
			System.exit(1);
		}

		// 存放索引的目录
		Directory dir = FSDirectory.open(new File(indexPath));

		// 标准分析器
		Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_45);

		// 索引配置
		IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_45, analyzer);

		iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE);

		// 初始化索引
		IndexWriter writer = new IndexWriter(dir, iwc);

		// 遍历文件，将文件加入到索引中
		indexDocs(writer, docDir);

		// 关闭索引
		writer.close();
	}

	// 递归的方式，遍历每一个文件
	private static void indexDocs(IndexWriter writer, File file) throws IOException {

		if (file.canRead()) {
			if (file.isDirectory()) {
				String[] files = file.list();

				if (files != null) {
					for (int i = 0; i < files.length; i++)
						indexDocs(writer, new File(file, files[i]));
				}
			} else {
				createDocument(writer , file);
			}
		}

	}

	//创建Document，并添加到索引
	private static void createDocument(IndexWriter writer , File file) throws IOException {
		FileInputStream fis;
		try {
			fis = new FileInputStream(file);
		} catch (FileNotFoundException fnfe) {
			return;
		}

		try {
			// 建立一个文档
			Document doc = new Document();

			// 保存字符串的域，保存了文件路径
			Field pathField = new StringField("path", file.getPath(), Field.Store.YES);
			doc.add(pathField);

			// Long型域，保存文件上次修改时间
			doc.add(new LongField("modified", file.lastModified(), Field.Store.NO));

			// Text型域，保存文件内容
			doc.add(new TextField("contents", new BufferedReader(new InputStreamReader(fis, "UTF-8"))));

			System.out.println("adding " + file);

			// 将文档加入到索引中
			writer.addDocument(doc);
		} finally {
			fis.close();
		}
	}

	// -index F:\Lucene_index -docs F:\Lucene_data
	public static void main(String[] args) {

		String indexPath = "F:\\Lucene_index"; // 索引存放的路径
		String docsPath = "F:\\Lucene_data"; // 需要给哪些文件建立索引（即资源库的地址）

		Date start = new Date();
		try {
			System.out.println("Indexing to directory '" + indexPath + "'...");

			// 创建索引
			createIndex(indexPath, docsPath);

			Date end = new Date();
			System.out.println(end.getTime() - start.getTime() + " total milliseconds");
		} catch (IOException e) {
			System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());
		}
	}

}