Lucene.Net+盘古分词实现搜索 Quartz.Net(定时任务) 实现热词统计

最新推荐文章于 2023-05-17 00:12:25 发布

zy0421911

最新推荐文章于 2023-05-17 00:12:25 发布

阅读量1.4k

点赞数

分类专栏：插件/开源项目 ASP.NET 文章标签： Lucene.Net 热词统计定时任务搜索 Quartz.Net

本文链接：https://blog.csdn.net/zy0421911/article/details/51418410

版权

ASP.NET 同时被 2 个专栏收录

34 篇文章 0 订阅

订阅专栏

插件/开源项目

20 篇文章 0 订阅

订阅专栏

一：Lucene.Net +盘古分词实现搜索功能

1 、Lucene.Net的配置：

引入相关dll文件（ Lucene.Net、log4net、PanGu、PanGu.HighLight、PanGu.Lucene.Analyzer）。当用户添加一条记录的时候，先向数据库写入数据，然后马上写入Lucene.Net （为了解决多线程并发的问题，需要引入队列，并且使用单例模式使队列是唯一的）

示例代码：

 public sealed class IndexManager
    {
        private static readonly IndexManager indexManager = new IndexManager();  //具体单例模式原理见《单例模式》一文
        private IndexManager()
        {
        }
        public Queue<SearchBook> queque = new Queue<SearchBook>();
        public static IndexManager GetInstance()
        {
            return indexManager;
        }
        public void ThreadStart()
        {
            Thread thread = new Thread(CommondQueue);
            thread.IsBackground = true;
            thread.Start();
        }
        private void CommondQueue()
        {
            while (true)
            {
                if (queque.Count > 0)
                {
                    WriteToLucene();
                }
                else
                {
                    Thread.Sleep(3000);
                }
            }
        }
        //删除记录
        public void Delete(int id)
        {
            SearchBook searchBook = new SearchBook() { ID = id, SearchBookType = Model.EnumType.SearchBookTypeEnum.Delete };
            queque.Enqueue(searchBook);
        }
        //添加记录
        public void Add(int id, string title, string content)
        {
            SearchBook searchBook = new SearchBook() { ID = id, Title = title, Content = content, SearchBookType = Model.EnumType.SearchBookTypeEnum.Add };
            queque.Enqueue(searchBook);

        }
        //从队列里取数据写入Lucene
        private void WriteToLucene()
        {
            string indexPath = @"C:\Users\Administrator\Desktop\Project.OA12晚\资料\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
            bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
            if (isUpdate)
            {
                //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
                if (IndexWriter.IsLocked(directory))
                {
                    IndexWriter.Unlock(directory);
                }
            }
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。

            while (queque.Count > 0)
            {
                SearchBook searchBook = queque.Dequeue();//取出数据 
                writer.DeleteDocuments(new Term("id", searchBook.ID.ToString()));//先把它删了
                if (searchBook.SearchBookType == Model.EnumType.SearchBookTypeEnum.Delete)//如果是删除
                {
                    continue;//跳出本次循环
                }//否则添加（先删除再添加  相当于修改）
                string txt = searchBook.Content;
                Document document = new Document();//表示一篇文档。
                                                   //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
                document.Add(new Field("id", searchBook.ID.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
                document.Add(new Field("title", searchBook.Title, Field.Store.YES, Field.Index.NOT_ANALYZED));
                //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）
                //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
                document.Add(new Field("content", txt, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);
            }
            writer.Close();//会自动解锁。
            directory.Close();//不要忘了Close，否则索引结果搜不到
        }
    }

搜索部分注意请求要以GET形式发送（作用是把网址复制下来发给其他人其他人也可以看到搜索结果）

示例代码：

 private void SearchFromContent()
        {
            string indexPath = Request.MapPath(@"\资料\lucenedir");
            //string indexPath = @"C:\Users\Administrator\Desktop\Project.OA12晚\资料\lucenedir";
            List<string> kws = Common.PanGuLuceneHelper.FenCi(Request["txtsearch"]);//对用户输入的搜索条件进行拆分。  帮助类见下文
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            IndexReader reader = IndexReader.Open(directory, true);
            IndexSearcher searcher = new IndexSearcher(reader);
            //搜索条件
            PhraseQuery query = new PhraseQuery();
            foreach (string word in kws)//先用空格，让用户去分词，空格分隔的就是词“计算机   专业”
            {
                query.Add(new Term("content", word));
            }
            //query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.
            // query.Add(new Term("body", "大学生"));
            // query.Add(new Term("body", kw));//body中含有kw的文章
            query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）
            //TopScoreDocCollector是盛放查询结果的容器
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器
            ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数   TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.
            //可以用来实现分页功能
            List<SearchBook> list = new List<SearchBook>();
            for (int i = 0; i < docs.Length; i++)
            {
                //
                //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.
                int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）
                Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
                SearchBook searchBook = new SearchBook() { ID = int.Parse(doc.Get("id")), Content =Common.PanGuLuceneHelper.PanGuHighLight(Request["txtsearch"],doc.Get("content")) , Title = doc.Get("title") };
                list.Add(searchBook);
            }
            ViewData["list"] = list;
        }

盘古分词帮助类（把用户搜索的词进行拆分，并在搜索结果中把搜索词高亮显示）：（注意在前台输出的时候要写@MvcHtmlString.Create（）输出用来显示出高亮样式）

 public class PanGuLuceneHelper
    {
        public static List<string> FenCi(string str)
        {
            Analyzer analyzer = new PanGuAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("", new StringReader(str));
            Lucene.Net.Analysis.Token token = null;
            List<string> list = new List<string>();
            while ((token = tokenStream.Next()) != null)
            {
                list.Add(token.TermText());
            }
            return list;
        }

        public static string PanGuHighLight(string keyWords,string content)
        {

            PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter =
             new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"red\">", "</font>");
            //创建Highlighter ，输入HTMLFormatter 和盘古分词对象Semgent
            PanGu.HighLight.Highlighter highlighter =
            new PanGu.HighLight.Highlighter(simpleHTMLFormatter,
            new Segment());
            //设置每个摘要段的字符数
            highlighter.FragmentSize = 150;
            //获取最匹配的摘要段
            return highlighter.GetBestFragment(keyWords, content);
        }