Lucene.Net 实现搜索功能

最新推荐文章于 2021-12-13 23:42:29 发布
最新推荐文章于 2021-12-13 23:42:29 发布
阅读量344 收藏 1
点赞数
文章标签： 数据库 测试 javascript ViewUI
原文链接：http://www.cnblogs.com/wangjinya/p/10755160.html
版权

一、 Lucene.Net介绍：

 1.  Lucene.Net是由Java版本的Lucene（卢思银）移植过来的，所有的类、方法都几乎和Lucene一模一样，因此使用时参考Lucene 即可。Lucene.Net只是一个全文检索开发包，不是一个成型的搜索引擎，它的功能就是：把数据扔给Lucene.Net ，查询数据的时候从Lucene.Net 查询数据，可以看做是提供了全文检索功能的一个数据库。Lucene.Net不管文本数据怎么来的。用户可以基于Lucene.Net开发满足自己需求的搜索引擎。 Lucene.Net只能对文本信息进行检索。如果不是文本信息，要转换为文本信息，比如要检索Excel文件，就要用NPOI把Excel读取成字符串，然后把字符串扔给Lucene.Net。Lucene.Net会把扔给它的文本切词保存，加快检索速度。midomi.com。因为是保存的时候分词（切词），所以搜索速度非常快！ 

　　　　　　　　　　　　

2. 分词介绍：分词分为三种，一元分词，二元分词，词库分词，主要用到的是词库分词

  1.  分词是核心的算法，搜索引擎内部保存的就是一个个的“词（Word）”。英文分词很简单，按照空格分隔就可以。中文则麻烦，把“北京，Hi欢迎你们大家” 拆成“北京 Hi 欢迎 你们 大家”。
  2. “the”，“，”，“和”，“啊”，“的”等对于搜索来说无意义的词一般都属于不参与分词的无意义单词(noise word)。
  3. Lucene.Net中不同的分词算法就是不同的类。所有分词算法类都从Analyzer类继承，不同的分词算法有不同的优缺点。
  4. （*）内置的StandardAnalyzer是将英文按照空格、标点符号等进行分词，将中文按照单个字进行分词，一个汉字算一个词。代码见备注
  5. （*）二元分词算法，每两个汉字算一个单词，“欢迎你们大家”会分词为“欢迎 迎你 你们 们大 大家”，网上找到的一个二元分词算法CJKAnalyzer。面试的时候能说出不同的分词算法的差异。
  6. 基于词库的分词算法，基于一个词库进行分词，可以提高分词的成功率。有庖丁解牛、盘古分词等。效率低。

3. 分词使用：首先导入dll文件。log4net.dll与Lucene.NET.dll将dll文件放置在项目的Lib文件夹中

4. 插入一个知识点：把winform窗口程序执行结果该成控制台程序

 右击项目文件，点击属性，点击输出类型

 

 

 5. 一元分词实现代码：一元分词是Lucene.net自带的所以只需要引入dll文件便可

 /// <summary>
        /// 一元分词
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void button1_Click(object sender, EventArgs e)
        {
            Analyzer analyzer = new StandardAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));
            Lucene.Net.Analysis.Token token = null;
            while ((token = tokenStream.Next()) != null)
            {
                Console.WriteLine(token.TermText());
            }

        }

6. 二元分词：二元分词需要导入一个类文件，因为该分词不是自带的。

类文件：

using System.Collections;
using System.IO;

using Lucene.Net.Analysis;

namespace NSharp.SearchEngine.Lucene.Analysis.Cjk
{
    /**/
    /**
 * Filters CJKTokenizer with StopFilter.
 *
 * @author Che, Dong
 */
    public class CJKAnalyzer : Analyzer
    {
        //~ Static fields/initializers ---------------------------------------------

        /**/
        /**
     * An array containing some common English words that are not usually
     * useful for searching and some double-byte interpunctions.
     */
        public static string[] STOP_WORDS = {
                                                 "a", "and", "are", "as", "at", "be",
                                                 "but", "by", "for", "if", "in",
                                                 "into", "is", "it", "no", "not",
                                                 "of", "on", "or", "s", "such", "t",
                                                 "that", "the", "their", "then",
                                                 "there", "these", "they", "this",
                                                 "to", "was", "will", "with", "",
                                                 "www"
                                             };

        //~ Instance fields --------------------------------------------------------

        /**/
        /**
     * stop word list
     */
        private Hashtable stopTable;

        //~ Constructors -----------------------------------------------------------

        /**/
        /**
     * Builds an analyzer which removes words in {@link #STOP_WORDS}.
     */
        public CJKAnalyzer()
        {
            stopTable = StopFilter.MakeStopSet(STOP_WORDS);
        }

        /**/
        /**
     * Builds an analyzer which removes words in the provided array.
     *
     * @param stopWords stop word array
     */
        public CJKAnalyzer(string[] stopWords)
        {
            stopTable = StopFilter.MakeStopSet(stopWords);
        }

        //~ Methods ----------------------------------------------------------------

        /**/
        /**
     * get token stream from input
     *
     * @param fieldName lucene field name
     * @param reader    input reader
     * @return TokenStream
     */
        public override TokenStream TokenStream(string fieldName, TextReader reader)
        {
            TokenStream ts = new CJKTokenizer(reader);
            return new StopFilter(ts, stopTable);
            //return new StopFilter(new CJKTokenizer(reader), stopTable);
        }
    }
}
二元分词类文件

二元分词实现代码：

/// <summary>
        /// 二元分词
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>

        private void button2_Click(object sender, EventArgs e)
        {
            Analyzer analyzer = new CJKAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));
            Lucene.Net.Analysis.Token token = null;
            while ((token = tokenStream.Next()) != null)
            {
                Console.WriteLine(token.TermText());
            }
        }

7. 盘古分词：是属于基于词库的分词，所以会有词库文件夹

需要导入盘古分词dll文件，同样放在lib文件夹下，然后导入点击选中dll文件

将dict文件夹放置在项目文件夹中，并且将文件夹中的文件全部选中，右击属性，设置总是复制最新。

运行结果：

8. 添加索引库，就是指盘古分词的词库：相关代码实现如下，但是该添加索引库只是考虑到单个用户，并没有考虑到高并发，下面会讲到如何实现如何处理该并发。

        private void button4_Click(object sender, EventArgs e)
        {
            string indexPath = @"C:\lucenedir";//该路径，就是指将分词之后的索引词库放置的路径。注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
            bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
            if (isUpdate)
            {
                //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
                if (IndexWriter.IsLocked(directory))  //如果加锁
                {        //解锁
                    IndexWriter.Unlock(directory);
                }
            }
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。
            for (int i = 1; i <= 10; i++)
            {
                string txt = File.ReadAllText(@"D:\text\0413班\OA\OA项目，搜索，Lucene.Net，盘古分词，Quartz.Net\资料\测试文件\" + i + ".txt", System.Text.Encoding.Default);//注意这个地方的编码
                Document document = new Document();//表示一篇文档。
                //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存，表示是否进行盘古分词
                document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));

                //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）

                //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。    干扰词的数量
                document.Add(new Field("body", txt, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);

            }
            writer.Close();//会自动解锁。
            directory.Close();//不要忘了Close，否则索引结果搜不到
        }

9. 实现搜索功能。

/// <summary>
        /// 搜索
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void button5_Click(object sender, EventArgs e)
        {
            string indexPath = @"C:\lucenedir";  //定位到索引的文件夹
            string kw = "面向对象";//对用户输入的搜索条件进行拆分。
            //创建一个打开文件夹
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            //创建一个读取文件夹
            IndexReader reader = IndexReader.Open(directory, true);
            IndexSearcher searcher = new IndexSearcher(reader);
            //搜索条件
            PhraseQuery query = new PhraseQuery();
            //foreach (string word in kw.Split(' '))//先用空格，让用户去分词，空格分隔的就是词“计算机   专业”
            //{
            //    query.Add(new Term("body", word));
            //}
            //query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.
           // query.Add(new Term("body", "大学生"));
            query.Add(new Term("body", kw));//body中含有kw的文章
            query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）
            //TopScoreDocCollector是盛放查询结果的容器
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器
            ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数   TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.
            //可以用来实现分页功能
            this.listBox1.Items.Clear();
            for (int i = 0; i < docs.Length; i++)
            {
                //
                //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.
                int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）
                Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
                this.listBox1.Items.Add(doc.Get("number") + "\n");// 取出放进字段的值
                this.listBox1.Items.Add(doc.Get("body") + "\n");
                this.listBox1.Items.Add("-----------------------\n");
            }
        }

 二、 上方将的是相关Lucene.net的基础，现在将使用它完成第一个搜索的版本，在MVC项目中使用。

1. 引入相关dll文件：以下四个

 

 

2 .  从数据库更新数据模型，添加books数据类，执行T4模板。

 

3. 新建一个SearchController 控制器，并且添加视图。此处需要注意几点：a. 提交方式改为get，b. 在展示搜索数据时，需要先进行if语句的嵌套，判断数据中是否有值，c.  @MvcHtmlString.Create的用法，如果不加该方法，会对数据进行编码成文字，但是加上该功能。便会不进行字符转换。

@{
    Layout = null;
}
@using Models
<!DOCTYPE html>
<html>
<head>
    <meta name="viewport" content="width=device-width" />
    <title>搜索</title>
    <style type="text/css">
        .search-text2{ display:block; width:528px; height:26px; line-height:26px; float:left; margin:3px 5px; border:1px solid gray; outline:none; font-family:'Microsoft Yahei'; font-size:14px;}
         .search-btn2{width:102px; height:32px; line-height:32px; cursor:pointer; border:0px; background-color:#d6000f;font-family:'Microsoft Yahei'; font-size:16px;color:#f3f3f3;}
         .search-list-con{width:640px; background-color:#fff; overflow:hidden; margin-top:0px; padding-bottom:15px; padding-top:5px;}
         .search-list{width:600px; overflow:hidden; margin:15px 20px 0px 20px;}

.search-list dt{font-family:'Microsoft Yahei'; font-size:16px; line-height:20px; margin-bottom:7px; font-weight:normal;}
.search-list dt a{color:#2981a9;}
.search-list dt a em{ font-style:normal; color:#cc0000;}
    </style>
</head>
<body>
    <div>
        <form method="get" action="/Search/SearchContent">
            <input type="text" name="txtSearch" class="search-text2" />
            <input type="submit" value="搜一搜" name="btnSearch" class="search-btn2" />
         @*   <input type="submit" value="创建索引库" name="btnCreate" />*@
        </form>
        <br />
        <div class="search-list-con">
        <dl class="search-list">
            @*此处首先要判断list中是否有数据，才可以执行下方的代码，不然会出错，并且if语句属于代码段，所以其中foreach处不需要再使用多余@符号*@
            @if(ViewData["list"]!=null)
            {
              foreach (ViewModelContent viewModel in (List<ViewModelContent>)ViewData["list"])
        {
            <dt><a href="javascript:void(0)"> @viewModel.Title</a></dt>
             <dd>@MvcHtmlString.Create(viewModel.Content)</dd>
        }
            }
</dl>
            </div>
    </div>
</body>
</html>

 

4. 引入dict文件夹，其中记录了一些重要的文件，并且设置dict文件夹中的文件的属性，设置为如果较新复制。

5. 实现搜索的功能的相关代码。

using CZBK.ItcastOA.Model;
using CZBK.ItcastOA.WebApp.Models;
using Lucene.Net.Analysis.PanGu;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Search;
using Lucene.Net.Store;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Web;
using System.Web.Mvc;

namespace CZBK.ItcastOA.WebApp.Controllers
{
    public class SearchController : Controller
    {
        //
        // GET: /Search/
        IBLL.IBooksService BooksService { get; set; }
        public ActionResult Index()
        {
            return View();
        }
        /// <summary>
        /// 表单中有多个Submit，单击每个Submit都会提交表单，但是只会将用户所单击的表单元素的value值提交到服务端。
        /// </summary>
        /// <returns></returns>
        public ActionResult SearchContent()
        {
            //如果等于查询
            if (!string.IsNullOrEmpty(Request["btnSearch"]))
            {
                List<ViewModelContent>list=ShowSearchContent();
                ViewData["list"] = list;
                //视图重载，表示返回到index对应的视图
                return View("Index");
            }
                //添加词库，但是此处的添加功能不再使用，因为被封装了
            else
            {
                CreateSerachContent();
            }
            return Content("ok");
        }
        /// <summary>
        /// 实现搜索功能，
        /// </summary>
        /// <returns></returns>
        private List<ViewModelContent> ShowSearchContent()
        {
            string indexPath = @"C:\lucenedir";
            //下面出需要把盘古分词类放置在common文件夹中，并且引用
            List<string> list =Common.WebCommon.PanGuSplitWord(Request["txtSearch"]);//使用盘古分词对用户输入的搜索条件进行拆分，并且接受用户的输入信息。
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            IndexReader reader = IndexReader.Open(directory, true);
            IndexSearcher searcher = new IndexSearcher(reader);
            //搜索条件
            PhraseQuery query = new PhraseQuery();
            //因为前面的只是查询一个词，所以不需要for循环
            foreach (string word in list)//先用空格，让用户去分词，空格分隔的就是词“计算机   专业”
            {
                query.Add(new Term("Content", word));
            }
            //query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.
            // query.Add(new Term("body", "大学生"));
           // query.Add(new Term("body", kw));//body中含有kw的文章
            query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）
            //TopScoreDocCollector是盛放查询结果的容器
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器
            ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数   TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.
            //可以用来实现分页功能，此处需要在model中定义ViewModelContent类
            List<ViewModelContent> viewModelList = new List<ViewModelContent>();
            for (int i = 0; i < docs.Length; i++)
            {
                //
                //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.
                ViewModelContent viewModel = new ViewModelContent();
                int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）
                Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
               viewModel.Id=Convert.ToInt32(doc.Get("Id"));// 取出放进字段的值
                viewModel.Title=doc.Get("Title");
                viewModel.Content =Common.WebCommon.CreateHightLight(Request["txtSearch"],doc.Get("Content"));//将搜索的关键字高亮显示。
                viewModelList.Add(viewModel);
            }
            return viewModelList;
        }
        /// <summary>
        /// 实现插入功能，该功能被封装在indexManager中，下面的注释，并且不使用
        /// </summary>
        private void CreateSerachContent()
        {
            //string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。//将路径写到配置文件中。
            //FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
            //bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
            //if (isUpdate)
            //{
            //    //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
            //    //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
            //    if (IndexWriter.IsLocked(directory))
            //    {
            //        IndexWriter.Unlock(directory);
            //    }
            //}
            //IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。
            //List<Books>list=BooksService.LoadEntities(b=>true).ToList();
            //foreach (var bookModel in list)
            //{
            //    Document document = new Document();//表示一篇文档。
            //    //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
            //    document.Add(new Field("Id", bookModel.Id.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));

            //    //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）

            //    //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
            //    document.Add(new Field("Title", bookModel.Title, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
            //    document.Add(new Field("Content", bookModel.ContentDescription, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
            //    writer.AddDocument(document);

            //}
            //writer.Close();//会自动解锁。
            //directory.Close();//不要忘了C
        }

    }
}
搜索功能的实现

6. 实现往Lucene中插入的相关代码：该出主要考虑到插入和删除还有修改，但是修改不需要，因为此处的思路是先删除后添加，所以不需要添加修改方法。并且该处采用的是单例模式，就是指将该类设置成只能被单一的引用，不能被继承等等。

using CZBK.ItcastOA.Model.EnumType;
using Lucene.Net.Analysis.PanGu;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Store;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Threading;
using System.Web;

namespace Models
{
    public sealed class IndexManager
    {
        //创建单例模式，首先第一步，定义一个静态示例的IndexManager类
        private static readonly IndexManager indexManager = new IndexManager();
        /// <summary>
        /// 第二步，提供一个私有的构造方法，指不能被继承， 只能在本类中使用
        /// </summary>
        private IndexManager()
        {
        }
        //第三部，该方法是公开的，因为需要在类的外面调用类的实例
        public static IndexManager GetInstance()
        {
            return indexManager;
        }

        public Queue<ViewModelContent> queue = new Queue<ViewModelContent>();
        /// <summary>
        /// 向队列中添加数据
        /// </summary>
        /// <param name="id"></param>
        /// <param name="title"></param>
        /// <param name="content"></param>
        public void AddQueue(int id, string title, string content)
        {
            ViewModelContent viewModel = new ViewModelContent();
            viewModel.Id = id;
            viewModel.Title = title;
            viewModel.Content = content;
            viewModel.LuceneTypeEnum = LuceneTypeEnum.Add; 
            queue.Enqueue(viewModel);
        }
        /// <summary>
        /// 要删除的数据
        /// </summary>
        /// <param name="id"></param>
        public void DeleteQueue(int id)
        {
            ViewModelContent viewModel = new ViewModelContent();
            viewModel.Id = id;
            viewModel.LuceneTypeEnum = LuceneTypeEnum.Delete;
            queue.Enqueue(viewModel);
        }
      

        /// <summary>
        /// 开始一个线程
        /// </summary>
        public void StartThread()
        {
            Thread thread = new Thread(WriteIndexContent);
            thread.IsBackground = true;
            thread.Start();
        }
        /// <summary>
        /// 检查队列中是否有数据，如果有数据获取。
        /// </summary>
        private void WriteIndexContent()
        {
            while (true)
            {
                if (queue.Count > 0)
                {
                    CreateIndexContent();
                }
                else
                {
                    Thread.Sleep(3000);
                }
            }
        }
        private void CreateIndexContent()
        {
            string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。//将路径写到配置文件中。
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
            bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
            if (isUpdate)
            {
                //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
                if (IndexWriter.IsLocked(directory))
                {
                    IndexWriter.Unlock(directory);
                }
            }
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。
           //如果队列中有数据，获取队列中的数据写到Lucene.Net中。
            while(queue.Count>0)
            {
                ViewModelContent viewModel=queue.Dequeue();
                writer.DeleteDocuments(new Term("Id",viewModel.Id.ToString()));//删除
                if (viewModel.LuceneTypeEnum == LuceneTypeEnum.Delete)
                {
                    continue;
                }
                Document document = new Document();//表示一篇文档。
                //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
                document.Add(new Field("Id", viewModel.Id.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));

                //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）

                //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
                document.Add(new Field("Title", viewModel.Title, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                document.Add(new Field("Content", viewModel.Content, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);

            }
            writer.Close();//会自动解锁。
            directory.Close();//不要忘了C
        }

    }
}
插入的实现

7. 需要在common中添加一个盘古分词的方法还有一个设置高亮显示的方法，高亮显示就是指将某一些数据显示成执行的样式。或者红色，或者字体加粗，等等...备注： 设置高亮显示需要导入pangu.highlight.dll 文件，还是和以往的一样，放置在lib文件夹中，然后引用。

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.PanGu;
using PanGu;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace  Common
{
   public class WebCommon
    {
　　　　//盘古分词，此处返回的是一个list集合
       public static List<string> PanGuSplitWord(string msg)
       {
           Analyzer analyzer = new PanGuAnalyzer();
           TokenStream tokenStream = analyzer.TokenStream("", new StringReader(msg));
           Lucene.Net.Analysis.Token token = null;
           List<string> list = new List<string>();
           while ((token = tokenStream.Next()) != null)
           {
               list.Add(token.TermText());
           }
           return list;
       }
       // /创建HTMLFormatter,参数为高亮单词的前后缀
       public static string CreateHightLight(string keywords, string Content)
       {
           PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter =
            new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"red\">", "</font>");
           //创建Highlighter ，输入HTMLFormatter 和盘古分词对象Semgent
           PanGu.HighLight.Highlighter highlighter =
           new PanGu.HighLight.Highlighter(simpleHTMLFormatter,
           new Segment());
           //设置每个摘要段的字符数
           highlighter.FragmentSize = 150;
           //获取最匹配的摘要段
           return highlighter.GetBestFragment(keywords, Content);

       }

    }
}

8. 上面还需要添加在MVC的model中添加一个数据类，类名ViewModelContent

using CZBK.ItcastOA.Model.EnumType;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;

namespace  Models
{
    public class ViewModelContent
    {
        
        public int Id { get; set; }
        //文章标题
        public string Title { get; set; }
        //文章内容
        public string Content { get; set; }
        //枚举类型的删除还是添加
        public LuceneTypeEnum LuceneTypeEnum { get; set; }
    }
}

9. 在model中类文件中添加一个枚举类型的LuceneTypeEnum类。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace  EnumType
{
    public enum LuceneTypeEnum
    {
        /// <summary>
        /// 添加
        /// </summary>
        Add,
        /// <summary>
        /// 删除
        /// </summary>
        Delete
    }
}

10. 在Global.asax文件的Application_Start()方法中添加一句如下代码。表示调用该实例，并且启动其中的线程。

IndexManager.GetInstance().StartThread();//开始线程扫描LuceneNet对应的数据队列。

11. 使用插入和删除的方法与思路。先插入到数据库中，并且返回主键ID，再插入到Lucene.net文件中，删除，直接调用删除的方法，修改也是调用添加的方法。

 public ActionResult TestCreate()
        {
            Model.Books model = new Model.Books();
            model.AurhorDescription = "jlkfdjf";
            model.Author = "asfasd";
            model.CategoryId = 1;
            model.Clicks = 1;
            model.ContentDescription = "Ajax高级编程";
            model.EditorComment = "adfsadfsadf";
            model.ISBN = "111111111111111111";
            model.PublishDate = DateTime.Now;
            model.PublisherId = 72;
            model.Title = "Ajax";
            model.TOC = "aaaaaaaaaaaaaaaa";
            model.UnitPrice = 22.3m;
            model.WordsCount = 1234;
            //1.将数据先存储到数据库中。并且获取刚插入的数据的主键ID值。插入到数据库中代码省略掉
            //第二步才是插入到luncene.net的文件中。
            IndexManager.GetInstance().AddQueue(9999, model.Title, model.ContentDescription);//添加一个刚刚插入的主键ID的值，标题，还有内容，并且向队列中添加该数据
            return Content("ok");
        }

 

转载于:https://www.cnblogs.com/wangjinya/p/10755160.html

dianzhongqu2330
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Lucene.Net的DLL
09-21
快速搜索
Lucene.Net.dll
09-22
Lucene.Net ，C#应用 。
Lucene.net站内搜索2—Lucene.Net简介和分词
邹玉杰（邹琼俊）的专栏
03-07 5079
Lucene.Net简介 Lucene.Net是由Java版本的Lucene（卢思银）移植过来的，所有的类、方法都几乎和Lucene一模一样，因此使用时参考Lucene 即可。Lucene.Net只是一个全文检索开发包（就像ADO.Net和管理系统的关系），不是一个成型的搜索引擎，它的功能就是：把数据扔给Lucene.Net ，查询数据的时候从Lucene.Net 查询数据，可以看做是提供了全文
结合Django和Bootstrap开发搜索框功能（详细教程，内含源代码，Windows平台开发）
钱彬的博客
03-05 3703
环境 python3.6.1 Django 1.11.14 windows 10 编译器 VS Code 基本流程 前端使用Bootstrap构建搜索框； 搜索框输入关键词按下回车，关键词数据以表单形式发送至后台服务器； 服务器收到请求，通过路由url解析后找到对应的视图处理函数进行处理； 视图处理函数从request.get中获得关键词数据，然后通过数据库匹配查...
搜索引擎资料收集(转)
wind_bell27的专栏
05-21 411
搜索引擎学习资源收集 一、搜索引擎技术/动态资源 &lt;一&gt;、综合类 1、卢亮的搜索引擎研究 http://www.wespoke.com/ 卢亮属于搜索引擎开发上的专家，以前开发过一个搜索引擎"博索"(http://booso.com/),好像现在已经停止开发了，目前他服务于博客网。在他的这个blog上可以了解许多搜索引擎开发的技术和经验，值得持续关注。 2、laolu'...
Lucene.Net实现搜索结果分类统计功能(中小型网站)
10-20
主要介绍了Lucene.Net实现搜索结果分类统计功能(中小型网站),这种实现方式比较适合中小型网站，在数据量和搜索量不大的情况下可用。本文给大家介绍非常详细，需要的朋友可以参考下
使用Lucene.NET实现站内搜索
01-03
Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene.Net 是 .NET 版的Lucene。 你可以在这里下载到最新的Lucene...
使用Lucene.net从目录内的多个文件中搜索关键字
04-05
为了我的项目目的，我需要实现一个搜索功能，该功能将从大约1000个Microsoft Word文件中搜索一个字符串。 我决定将Lucene.net用于此目的。我需要指出一个特定的目录，Lucene.net将从中进行搜索。能否请您提供一个...
Lucene.Net实现的搜索引擎框架（改自CSDN资源）
08-21
在csdn下载了一份代码没有数据库，用vs2010打开后有些错误，添加了一些没有写功能的代码。可以作为初学Lucene的参考。 调试已经没有问题 包括：蜘蛛、生成索引、和web搜索端
BoboBrowse.Net:BoboBrowse.Net是在Lucene.Net顶部实现的多面浏览引擎。 最初从John Wang（http
05-25
Bobo-Browse是建立在Lucene.Net之上的功能强大且可扩展的多面搜索引擎库。 它是John Wang用Java编写的的C＃端口。 该项目基于和早期工作，但两个版本均基于Bobo-Browse.Net2.x。 这是的（几乎）完整的端口，它与...
lucene.net 2.9.2 dll 最新版
08-02
lucene.net 2.9.2 dll 最新版 已测试通过，官网只有源码版 没有dll版。
Redis 安装和集群
luzhuhong1的博客
09-19 264
Redis 安装和集群 Redis安装 安装redis .1.先去redis官网下载redis（wget http://download.redis.io/releases/redis-4.0.1.tar.gz ） 此系统下载的redis-4.0.1， 先安装gcc ：yum install -y gcc g++ gcc-c++ make 要不然安装redis会出错 2. tar xzf red...
Lucene.Net - Lucene.Net.dll
weixin_34050005的博客
11-02 272
From:  http://incubator.apache.org/lucene.net/ Lucene.Net is a byte-to-byte port to .NET of Apache Lucene a high-performance, full-featured text search engine library ...
(收藏)《博客园精华集》ASP.NET分册
weixin_30372371的博客
10-03 523
为什么foreach(HttpCookie cookie in Request.Cookies)会出错 作者：dudu 解读System.Web.UI.Page中关键方法ProcessRequestMain() 作者：dudu 在Asp.net页面中实现数据饼图 作者：TerryLee 在Web页面中控制其元素的选择状态 作者：birdshome ASP.NET控件开发之"代码...
常访问的网址网站
热门推荐
carl2380的专栏
11-18 1万+
bookmark 常用网站 -->  感谢您的注册 - 博客园       http://home.cnblogs.com/blog/ 新的博客地址        http://www.w3school.com.cn/index.html  在w3school，你可以找到你所需要的所有的网站建设教程。        http://tieba.baidu.com/club/10262790
线性代数-Gilbert Strang(第一部分)
DawnRanger的专栏
04-14 3719
第一课时：方程组的几何解释线性方程组的两种理解方式：行图像(row picture)、列图像(column picture) 行图像：试图将每一个完整方程所表示的图像表示出来； 列图像：关注矩阵的列所表示的向量，把两个方程组放在一起考虑。这样做的目的是找到两个列向量的正确的线性组合为右侧向量。 方程组解的情况：如果是奇异矩阵，即不可逆矩阵，在行图像中看即至少有两个方程组所表示的平面是平行的，在列图像
研发工程师笔试c语言题,携程研发工程师笔试题-2016年
weixin_31289735的博客
05-18 447
一、单项选择题1、内存空间被分成不同区域,其中用函数void* malloc(unsigned int size);申请的内存在()A、程序区B、静态存储区C、动态存储区D、ROM区2、CPU输出数据的速度远远高于打印机的打印速度，为了解决这一矛盾，可采用()A、缓冲技术B、覆盖技术C、并行技术D、虚存技术3、编译和执行如下c语言代码，系统将会输出什么()#includeint main(){ch...
ASP.NET 未被授权访问所请求的资源。请考虑授予 ASP.NET 请求标识访问此资源的权限...
weixin_30898109的博客
11-18 399
开发了一个导入TXT文件的功能，执行过程中出错。提示：.....ASP.NET 未被授权访问所请求的资源。请考虑授予 ASP.NET 请求标识访问此资源的权限。ASP.NET 有一个在应用程序没有模拟时使用的基进程标识(通常，在 IIS 5 上为 {MACHINE}\ASPNET，在 IIS 6 上为网络服务)。如果应用程序正在通过 <identity sonate="true"/&gt...
矩阵论核心知识点
Aggro的博客
12-13 5865
矩阵论是工程数学领域必需要掌握的基础工具，无论是写文章还是做开发，都会频繁用到相关知识，下面简要记录矩阵论中的核心知识点。 1 线性空间、线性变换、基、维数 数域中的任意两个数满足8个条件，这个数域就是线性空间。 a+b=b+a 1*a=a 0+a=a 0*a=0 空间中的一组向量的组合可以表示空间中其他任意向量，这组向量叫做基向量。比如三维空间中的x,y,z轴上的单位向量（1,0,0）,（0,1,0）,（0,0,1）就是三维空间的一组基向量，维数为3，同样可以将这个概念推广到矩阵空间。 想象
lucene.net 搜索服务器文档
最新发布
05-15
Lucene.net提供了丰富的API，可以方便地实现搜索引擎功能，包括：多字段搜索、模糊搜索、词条搜索、短语搜索、范围搜索、分页、排序等功能。同时，Lucene.net还支持自定义分词、停用词、同义词等配置，提供高度可...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值