Lucene.Net索引的建立

在建立索引前，先了解下lucene中的一些与索引相关的重要类。

为了对文档进行索引，Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途：

Document

Document 是用来描述文档的，这里的文档可以指一个 HTML 页面，一封电子邮件，或者是一个文本文件。一个 Document 对象由多个 Field 对象组成的。可以把一个 Document 对象想象成数据库中的一个记录，而每个 Field 对象就是记录的一个字段。在建立索引的时候，也就是实例化一个索引器IndexWriter的之前，必须通过已经建立好的Document逻辑文件，将Document的对象添加到IndexWriter实例中，才能算是建立索引。

Field

Field 对象是用来描述一个文档的某个属性的，比如一封电子邮件的标题和内容可以用两个 Field 对象分别描述。

Document汇集数据源，这个数据源是通过Field来构造的。构造好Field之后，将每个Field对象加入到Document之中，可以通过Document来管理Field，然后将聚集的Document加入到IndexWriter中，建立索引，写入指定的Directory，为检索做准备。

Analyzer

在一个文档被索引之前，首先需要对文档内容进行分词处理，这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类，它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer。Analyzer 把分词后的内容交给 IndexWriter 来建立索引。

IndexWriter

IndexWriter 是 Lucene 用来创建索引的一个核心的类，他的作用是把一个个的 Document 对象加到索引中来。建立索引必须从它开始。而且，从它的构造函数开始。

Directory

这个类代表了 Lucene 的索引的存储的位置，这是一个抽象类，它目前有两个实现，第一个是 FSDirectory，它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory，它表示一个存储在内存当中的索引的位置

 

Field函数：public Field(string name, string value_Renamed, Field.Store store, Field.Index index)

                Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型
                Field.Store: 有三个属性：
                Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。
                Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。
                Field.Store.COMPRESS 压缩存储；

                Field.Index:有四个属性：
                Field.Index.TOKENIZED：分词索引
                Field.Index.UN_TOKENIZED：进行索引，但不对其进行分词，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。
                Field.Index.NO 和 Field.Index.NO_NORMS：
                不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。

下面是一个示例：

/* * 建立一个Form，命名为DemoIndex，添加四个控件： * Button按钮命名button1，添加单击事件 * RichTextBox控件，命名richTextBox1 * StatusBar，命名statusBar1 * FolderBrowserDialog，命名folderBrowserDialog1 * 分词类使用中文分词类库ChineseAnalyzer，也可以使用Lucene自带的类库 */ using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Text; using System.Windows.Forms; using Lucene.Net.Documents; using Lucene.Net.Index; using Lucene.Net.QueryParsers; using Lucene.Net.Analysis.Cn; using System.IO; namespace WebCheck { public partial class DemoIndex : Form { public DemoIndex() { InitializeComponent(); } const string INDEX_STORE_PATH = "index"; DateTime start = DateTime.Now; private void button1_Click(object sender, EventArgs e) { DialogResult result = folderBrowserDialog1.ShowDialog(); if (result == DialogResult.OK) { IndexWriter writer = null; try { ///INDEX_STORE_PATH索引所在目录，ChineseAnalyzer()分词类，true是新建索引，flase追加索引。 writer = new IndexWriter(INDEX_STORE_PATH, new ChineseAnalyzer(), true); writer.SetMaxFieldLength(250000);//设置建立索引的长度，就是对数据的前多少条建立索引 writer.SetMaxBufferedDocs(100);//控制写入一个新的segment前内存中保存的document的数目,设置较大的数目可以加快建索引速度 writer.SetMaxMergeDocs(100);// 控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度 writer.SetMergeFactor(100);// 控制多个segment合并的频率,值较大时建立索引速度较快,默认是10 output("开始建立索引..../n"); start = DateTime.Now; #region 同步索引 //IndexDirectory(writer,new FileInfo(this.folderBrowserDialog1.SelectedPath)); //如果是同步索引的话，调用优化索引的函数可以对索引优化，如果是异步就不行了。 //异步的话，最好把writer也当做参数传递给回调函数里，在回调函数里优化，这里 //传递了一个时间参数进去，你可以传递一个包含start和writer的自定义对象进去。 //为了让示例简单我没有这个做。 //writer.Optimize(); //writer.Close(); #endregion #region 异步索引 // BeginInvoke 方法可启动异步调用。 //它与您需要异步执行的方法具有相同的参数，另外它还有两个可选参数。 //第一个参数是一个 AsyncCallback 委托，该委托引用在异步调用完成时要调用的方法。 //第二个参数是一个用户定义的对象，该对象可向回调方法传递信息。 //BeginInvoke 立即返回，不等待异步调用完成。BeginInvoke 会返回 IAsyncResult，这个结果可用于监视异步调用进度。 //结果对象IAsyncResult是从开始操作返回的，并且可用于获取有关异步开始操作是否已完成的状态。 //结果对象被传递到结束操作，该操作返回调用的最终返回值。 //在开始操作中可以提供可选的回调。如果提供回调，在调用结束后，将调用该回调；并且回调中的代码可以调用结束操作。 CheckForIllegalCrossThreadCalls = false; AsyncIndexDirectoryCaller caller = new AsyncIndexDirectoryCaller(IndexDirectory); IAsyncResult ar = caller.BeginInvoke(writer, new FileInfo(this.folderBrowserDialog1.SelectedPath), new AsyncCallback(searchCallback), writer); caller.EndInvoke(ar); this.statusBar1.Text = "准备"; #endregion } catch (Exception ex) { output(ex.Message); } } } delegate void AsyncIndexDirectoryCaller(IndexWriter writer, FileInfo file);//委托 public void IndexDirectory(IndexWriter writer, FileInfo file) { if (Directory.Exists(file.FullName))//如果file是一个目录(该目录下面可能有文件、目录文件、空文件三种情况) { String[] files = Directory.GetFileSystemEntries(file.FullName);//获取此目录下子目录和文件集合 if (files != null) { for (int i = 0; i < files.Length; i++) { IndexDirectory(writer, new FileInfo(files[i])); //这里是一个递归 } } } else // 到达叶节点时，说明是一个File，而不是目录，则建立索引 { if (file.Extension == ".txt" || file.Extension == ".htm" || file.Extension == ".html")//指定为特定的页面建立索引 { IndexFile(file, writer); } } } private void IndexFile(FileInfo file, IndexWriter writer) { try { Document doc = new Document(); output("正在建立索引" + file.FullName); //Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型 //Field.Store: 有三个属性： //Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。 //Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。 //Field.Store.COMPRESS 压缩存储； //Field.Index:有四个属性： //Field.Index.TOKENIZED：分词索引 //Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。 //Field.Index.NO 和 Field.Index.NO_NORMS： //不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。 doc.Add(new Field("filename", file.FullName, Field.Store.YES, Field.Index.NO_NORMS)); //这里一定要设置响应的编码格式，否则建立索引的时候不能正确读取内容并分词 doc.Add(new Field("contents", GetContent(file), Field.Store.NO, Field.Index.UN_TOKENIZED)); writer.AddDocument(doc); } catch (FileNotFoundException fnfe) { output(fnfe.Message); } } /// <summary> /// /// </summary> /// <param name="file"></param> /// <returns></returns> private string GetContent(FileInfo file) { string content = ""; StreamReader filestream = new StreamReader(file.FullName, System.Text.Encoding.Default); content = filestream.ReadToEnd(); filestream.Close(); if (file.Extension == ".htm" || file.Extension == ".html") { content = parseHtml(content); } return content; } /// <summary> /// 出去网页中的html字符 /// </summary> /// <param name="html"></param> /// <returns></returns> private string parseHtml(string html) { string temp = System.Text.RegularExpressions.Regex.Replace(html, "<[^>]*>", ""); return temp.Replace(" ", " "); } void searchCallback(IAsyncResult ar) { IndexWriter writer = (IndexWriter)ar.AsyncState; writer.Optimize();//Optimize()方法是对索引进行优化 writer.Close(); TimeSpan s = DateTime.Now - start; output("索引完成,共用时" + s.Milliseconds + "毫秒"); MessageBox.Show("索引完成,共用时" + s.Milliseconds + "毫秒", "提示"); } void output(string s) { richTextBox1.AppendText(s + "/n"); this.statusBar1.Text = s; } } }