基于Lucene的文件检索

     基于Java的全文索引/检索引擎——Lucene

      Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。

      Lucene的作者：Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家，曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者，后在Excite担任高级系统架构设计师，目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用程序加入全文检索功能。

     Lucene的发展历程：早先发布在作者自己的www.lucene.com，后来发布在SourceForge，2001年年底成为APACHE基金会jakarta的一个子项目：http://jakarta.apache.org/lucene/ 已经有很多Java项目都使用了Lucene作为其后台的全文索引引擎。

   现在也有很多用.NET做的Lucene,其索引/检索的效果还是不错的。

   近期由于做项目的需要，也对Lucene进行了研究，小有一些心得。

  其关键步骤为：

   一、建立索引

          从源数据文件夹中取出所有要进行索引的文件，循环为每个文件建立索引：
          注意DLL的引用（using StandardAnalyzer = Lucene.Net.Analysis.Standard.StandardAnalyzer;
using IndexWriter = Lucene.Net.Index.IndexWriter;
using Lucene.Net.Demo;）
         IndexWriter writer = new IndexWriter(indexPath, new StandardAnalyzer(), true);//index indexPath 为存放索引文件的路径
         IndexDocs(writer, new System.IO.FileInfo(sourcePath));          //索引方法  sourcePath 为存放源数据文件的路径

         下面是实现索引的方法：
          #region Index Documets
  public void  IndexDocs(IndexWriter writer, System.IO.FileInfo file)
  {
   if (System.IO.Directory.Exists(file.FullName))
   {
    System.String[] files = System.IO.Directory.GetFileSystemEntries(file.FullName);
    // an IO error could occur
    if (files != null)
    {
     for (int i = 0; i < files.Length; i++)
     {
      IndexDocs(writer, new System.IO.FileInfo(files[i]));
     }
    }
   }
   else
   {
    try
    {
     writer.AddDocument(FileDocument.Document(file));
     index++;
     this.listBoxControl.Items.Add(file.Name+"                              "+DateTime.Now.ToString());//recorder successful file
     
    }
     // at least on windows, some temporary files raise this exception with an "access denied" message
     // checking if the file can be read doesn't help
    catch (System.IO.FileNotFoundException fnfe)
    {
     MessageBox.Show((fnfe.GetType()+fnfe.Message),"错误",MessageBoxButtons.OK,MessageBoxIcon.Error);
     return;
    }
   }
  }
  #endregion
  

      在这里要注意的是，由于需求的原因我对源数据文件加过密，所以我把索引的具休法中添加了解密方法。也就是说，在索引文件的时候首先要把源加密文件解密后再进行索引，这样就要以把真正没加密前的信息加到索引里面了。（当然在查到相应文件查看时，还要对文件进行解密的）

      修改类FileDocument中的函数：
          public static Document Document(System.IO.FileInfo f)
  {
   
   // make a new, empty document
   Document doc = new Document();
   
   // Add the path of the file as a Field named "path".  Use a Text Field, so
   // that the index stores the path, and so that the path is searchable
   doc.Add(Field.Text("path", f.FullName));
   
   // Add the last modified date of the file a Field named "modified".  Use a
   // Keyword Field, so that it's searchable, but so that no attempt is made
   // to tokenize the Field into words.
   doc.Add(Field.Keyword("modified", DateField.TimeToString(((f.LastWriteTime.Ticks - 621355968000000000) / 10000))));
   
   // Add the contents of the file a Field named "contents".  Use a Text
   // Field, specifying a Reader, so that the text of the file is tokenized.
   // ?? why doesn't FileReader work here ??

   //read file from source
   FileStream fs = new FileStream(f.FullName,FileMode.Open);
   StreamReader sr = new StreamReader(fs,Encoding.Default);
   string filetemp = sr.ReadToEnd();
   sr.Close();
   fs.Close();

   //open pass     //此处为自己写的加密/解密方法
   Cryptography op = new Cryptography();
   filetemp = op.DesDecrypt(filetemp,"xxxxxxxxx");
   // Save a copy
   string tempFile = @"c:/temp.htm";
   if (File.Exists(tempFile))
   {
    File.Delete(tempFile);
   }
   try
   {
    using (StreamWriter sw = new StreamWriter(tempFile,false,Encoding.UTF8))
    {
     sw.Write(filetemp);
    }  
   }
   catch
   {
    throw new IOException();
   }

   System.IO.FileStream is_Renamed = new System.IO.FileStream(tempFile, System.IO.FileMode.Open, System.IO.FileAccess.Read);
   System.IO.StreamReader reader = new System.IO.StreamReader(new System.IO.StreamReader(is_Renamed, System.Text.Encoding.Default).BaseStream, new System.IO.StreamReader(is_Renamed, System.Text.Encoding.Default).CurrentEncoding);
   doc.Add(Field.Text("contents", reader));   
   
   // return the document
   return doc;
  }
    此处是建了临时文件，因为法在执行时一直在使用reader，所以不能在当前这个方法为执行删除临时文件，我把它加到了调用索引方法的主函数中。（也就是说要在所有索引建完之后去删除昨临时文件）到此索引就告一段落。

         二、文件检索

         在这里文件检索就相对比较简单一些，直接利用建好的索引文件进行检索就可以了。同时也要注意命名空间的引用：using Analyzer = Lucene.Net.Analysis.Analyzer;
using StandardAnalyzer = Lucene.Net.Analysis.Standard.StandardAnalyzer;
using Document = Lucene.Net.Documents.Document;
using QueryParser = Lucene.Net.QueryParsers.QueryParser;
using Hits = Lucene.Net.Search.Hits;
using IndexSearcher = Lucene.Net.Search.IndexSearcher;
using Query = Lucene.Net.Search.Query;
using Searcher = Lucene.Net.Search.Searcher;

      下面为具体的检索方法：

       private void Search()
  {
   try
   {    
    DateTime starttime = DateTime.Now;            //begin analyse file
    string analysepath = Application.StartupPath+"//"+analyseConfigPath;  //index file config xml path
    string analysefolder = xo.ReadFileConfig(analysepath);      //index file folder path
    string indexPath = Application.StartupPath+"//"+analysefolder;    //index folder path

    Searcher searcher = new IndexSearcher(indexPath);
    Analyzer analyzer = new StandardAnalyzer();     
    System.String line = this.txtWord.Text.Trim();   
     
    if(listSearchResult.Items.Count > 0)
     listSearchResult.Items.Clear();

    if (line.Length == 0)
     return;;
     
    Query query = QueryParser.Parse(line, "contents", analyzer);

    
    this.listSearchResult.Items.Add("查找关键词: " + query.ToString("contents"));
     
    Hits hits = searcher.Search(query);
    this.listSearchResult.Items.Add("找到相关文件约 "+hits.Length()+" 篇");
     
    int HITS_PER_PAGE = 10;
    for (int start = 0; start < hits.Length(); start += HITS_PER_PAGE)
    {
     int end = System.Math.Min(hits.Length(), start + HITS_PER_PAGE);
     for (int i = start; i < end; i++)
     {
      Document doc = hits.Doc(i);
      System.String path = doc.Get("path");
      if (path != null)
      {
       this.listSearchResult.Items.Add(i + ". " + path);
      }
      else
      {
       System.String url = doc.Get("url");
       if (url != null)
       {
        this.listSearchResult.Items.Add(i + ". " + url);
        this.listSearchResult.Items.Add("   - " + doc.Get("title"));
       }
       else
       {
        this.listSearchResult.Items.Add(i + ". " + "No path nor URL for this document");
       }
      }
     }  
     
    }    
    searcher.Close();
    DateTime endtime = System.DateTime.Now;
    TimeSpan time = endtime - starttime;
    double timestr = time.TotalSeconds;
    this.laFileNum.Text = "找到相关文件约"+hits.Length().ToString()+"篇，用时"+timestr.ToString()+"秒 ";
    
   }
   catch //(System.Exception ecp)
   {    
//    MessageBox.Show((ecp.GetType()+ecp.Message),"错误",MessageBoxButtons.OK,MessageBoxIcon.Error);
//    return;
   }
  }

   可以把检索到的文件以列表的形式显示出来，选择自己需要的文件进行查看。下面的处理可以根据自己的具休情况来处理。

   通过以上的应用,可以看到,其实使用lucene很简单。因其代码是开源的可以下载下来对其进一步扩展加工。

    相关链接：

         1、 http://www.dotlucene.net/

         2、http://sourceforge.net

   作者：jinru2560@gmail.com
    QQ: 55854548