Lucene .NET 全文检索

已于 2022-02-25 10:58:15 修改
阅读量2k 收藏 4
点赞数 3
分类专栏： Lucene 文章标签： C# lucene 搜索 .net 全文检索
于 2014-07-11 17:00:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenyblog/article/details/37697385
版权

近期做项目中有用到过Lucene，那个模块是由一位前端大神负责的，空闲时间我也做了个关于Lucene做全文检索的Demo，记录下来，方便以后学习。
关于Lucene的原理，网上有长篇大论的文章，有兴趣的话可以去阅读，再次我就直奔主题，在代码中分析其原理。

1、创建索引（此处我用的是盘古分词）

        #region 创建索引 void CreateIndex(object sender, EventArgs e)
        /// <summary>
        /// 创建索引
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void CreateIndex(object sender, EventArgs e)
        {
            //索引存放的物理路径
            //this.CreateDirectory();   //给 indexPath 赋值
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());
            bool isUpdate = IndexReader.IndexExists(directory); //判断索引库文件夹存在并且存在索引库特征文件
            if (isUpdate)
            {
                //同时只能有一段代码对索引库进行写操作！当使用IndexWriter打开directory的时候会自动给索引库上锁。!!!
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁
                if (IndexWriter.IsLocked(directory))   //如果索引库文件被锁定了  解锁
                {
                    IndexWriter.Unlock(directory);
                }
            }
            //IndexWriter writer = new IndexWriter(indexPath, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);  //该方法已过时。
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);
            IEnumerable<Story> list = bllHelper.GetAllStory();
            foreach (Story story in list)
            {
                writer.DeleteDocuments(new Term("ID", story.ID.ToString()));
                Document document = new Document();  //一篇文章，一部小说
                //要进行全文检索的字段要设置 Field.Index.ANALYZED !!!!!!!!!!!!!!!!!!!!!!!!!!
                document.Add(new Field("ID", story.ID.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
                document.Add(new Field("Title", story.Title, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                document.Add(new Field("Author", story.Author, Field.Store.YES, Field.Index.NOT_ANALYZED));
                document.Add(new Field("Content", story.Content, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                document.Add(new Field("URL", story.URL, Field.Store.YES, Field.Index.NOT_ANALYZED));
                writer.AddDocument(document);
            }
            writer.Close();
            directory.Close();
        }
        #endregion

2.接下来就是搜索了

        #region 搜索 IEnumerable<Story> Search(string keyWord)
        /// <summary>
        /// 搜索
        /// </summary>
        /// <param name="keyWords">关键字</param>
        private IEnumerable<Story> Search(string keyWord)
        {
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            IndexReader reader = IndexReader.Open(directory, true);
            IndexSearcher searcher = new IndexSearcher(reader);

            //多条件查询
            //搜索条件
            PhraseQuery queryTitle = new PhraseQuery();
            //把用户输入的“北京是首都”分词为“北京 是 首都”三个词，然后添加查询条件
            foreach (string word in CommonHelper.SplitWords(keyWord))
            {
                queryTitle.Add(new Term("Title", word));
            }
            queryTitle.SetSlop(100); //多个查询条件的词之间的最大距离。在文章中相隔太远一般也就无意义

            //搜索条件
            PhraseQuery queryContent = new PhraseQuery();
            //把用户输入的“北京是首都”分词为“北京 是 首都”三个词，然后添加查询条件
            foreach (string word in CommonHelper.SplitWords(keyWord))
            {
                queryContent.Add(new Term("Content", word));
            }
            queryContent.SetSlop(100);

            //用BooleanQuery把多个查询条件拼接起来成为一个大的查询条件
            BooleanQuery query = new BooleanQuery();
            query.Add(queryTitle, BooleanClause.Occur.SHOULD);//可以有
            query.Add(queryContent, BooleanClause.Occur.SHOULD);//可以有

#if !notes

            //组合关系代表的意思如下: 
            //1、MUST和MUST表示“与”的关系，即“并集”。
            //2、MUST和MUST_NOT前者包含后者不包含。
            //3、MUST_NOT和MUST_NOT没意义
            //4、SHOULD与MUST表示MUST，SHOULD失去意义； 
            //5、SHOUlD与MUST_NOT相当于MUST与MUST_NOT。 
            //6、SHOULD与SHOULD表示“或”的概念。  
#endif
            //create 一个存储查询结果的容器
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            searcher.Search(query, null, collector);
            ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;  //得到所有查询结果中的文档

            List<Story> list = new List<Story>();
            foreach (ScoreDoc doc in docs)
            {
                int docID = doc.doc;  //得到查询结果文档的id（Lucene内部分配的id）
                Document document = searcher.Doc(docID);  //根据ID找到对应的Document
                Story story = new Story();
                story.ID = Convert.ToInt32(document.Get("ID"));
                story.Title = CommonHelper.Highlight(keyWord, document.Get("Title"));
                story.Author = document.Get("Author");
                story.Content = CommonHelper.Highlight(keyWord, document.Get("Content"));
                //story.Content = document.Get("Content");
                story.URL = document.Get("URL");
                list.Add(story);
            }
            return list;
        }
        #endregion

3.帮助类文件

3.1 BusinessHelper类

 #region 根据ID获取小说 +Story GetStoryById(int id)
        /// <summary>
        /// 根据ID获取小说
        /// </summary>
        /// <param name="id">ID</param>
        /// <returns></returns>
        public Story GetStoryById(int id)
        {
            string sql = "SELECT * FROM Story nolock WHERE Id = @Id";
            using (SqlDataReader reader = SqlHelper.ExecuteDataReader(sql, new SqlParameter("@Id", id)))
            {
                if (reader.Read())
                {
                    return ToModel(reader);
                }
                else
                {
                    return null;
                }
            }
        } 
        #endregion

        #region 获取所有的小说 +IEnumerable<Story> GetAllStory()
        /// <summary>
        /// 获取所有的小说
        /// </summary>
        /// <returns></returns>
        public IEnumerable<Story> GetAllStory()
        {
            var list = new List<Story>();
            string sql = "SELECT * FROM Story nolock";
            using (SqlDataReader reader = SqlHelper.ExecuteDataReader(sql))
            {
                while (reader.Read())
                {
                    list.Add(ToModel(reader));
                }
            }
            return list;
        } 
        #endregion

        #region 把SqlDataReader转换成实体 Story ToModel(SqlDataReader reader)
        /// <summary>
        /// 把SqlDataReader转换成实体
        /// </summary>
        /// <param name="reader"></param>
        /// <returns></returns>
        private Story ToModel(SqlDataReader reader)
        {
            Story story = new Story();
            story.ID = (int)ToModelValue(reader, "Id");
            story.Title = (string)ToModelValue(reader, "Title");
            story.Author = (string)ToModelValue(reader, "Author");
            story.Content = (string)ToModelValue(reader, "Content");
            story.URL = (string)ToModelValue(reader, "URL");
            return story;
        } 
        #endregion

        private object ToDBValue(object value)
        {
            if (value == null)
            {
                return DBNull.Value;
            }
            else
            {
                return value;
            }
        }

        private object ToModelValue(SqlDataReader reader, string columnName)
        {
            if (reader.IsDBNull(reader.GetOrdinal(columnName)))
            {
                return null;
            }
            else
            {
                return reader[columnName];
            }
        }

3.2 CommonHelper类

        /// <summary>
        /// 把用户传入的字符串s分割成一个个的词
        /// </summary>
        /// <param name="s"></param>
        /// <returns></returns>
        public static string[] SplitWords(string s)
        {
            List<string> list = new List<string>();

            Analyzer analyzer = new PanGuAnalyzer();

            TokenStream tokenStream = analyzer.TokenStream("", new StringReader(s));
            Lucene.Net.Analysis.Token token = null;
            while ((token = tokenStream.Next()) != null)  //Next继续分词，如果没有更多词，则返回null
            {
                list.Add(token.TermText());//得到分到的词
            }
            return list.ToArray();
        }


        public static string Highlight(string keyword, string content)
        {
            try
            {
                //创建HTMLFormatter,参数为高亮单词的前后缀
                PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter =
                       new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"red\"><b>", "</b></font>");
                //创建 Highlighter ，输入HTMLFormatter 和 盘古分词对象Semgent
                PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new Segment());
                //设置每个摘要段的字符数
                highlighter.FragmentSize = 5000;
                //获取最匹配的摘要段
                string result = highlighter.GetBestFragment(keyword, content);
                if (string.IsNullOrEmpty(result))
                {
                    return content;
                }
                else
                {
                    return result;
                }
            }
            catch
            {
                return content;
            }
        }

3.3 SqlHelper 类

        public static string CONNECTIONSTRING = ConfigurationManager.ConnectionStrings["connLuceneDB"].ConnectionString;

        #region 执行查询方法 +static DataTable ExecuteDataTable(string sql)
        /// <summary>
        /// 执行查询方法
        /// <para>返回DataTable</para>
        /// </summary>
        /// <param name="sql">sql语句</param>
        /// <param name="list"></param>
        public static DataTable ExecuteDataTable(string sql)
        {
            using (SqlConnection conn = new SqlConnection(SqlHelper.CONNECTIONSTRING))
            {
                conn.Open();
                using (SqlCommand cmd = new SqlCommand(sql, conn))
                {
                    SqlDataAdapter da = new SqlDataAdapter(cmd);
                    DataTable dt = new DataTable();
                    da.Fill(dt);
                    return dt;
                }
            };
        } 
        #endregion

        #region 执行查询方法，返回DataReader对象 +static SqlDataReader ExecuteDataReader(string cmdText,params SqlParameter[] parameters)
        /// <summary>
        /// 执行查询方法，返回DataReader对象
        /// </summary>
        /// <param name="cmdText"></param>
        /// <param name="parameters"></param>
        /// <returns></returns>
        public static SqlDataReader ExecuteDataReader(string cmdText,
            params SqlParameter[] parameters)
        {
            SqlConnection conn = new SqlConnection(CONNECTIONSTRING);
            conn.Open();
            using (SqlCommand cmd = conn.CreateCommand())
            {
                cmd.CommandText = cmdText;
                cmd.Parameters.AddRange(parameters);
                return cmd.ExecuteReader(CommandBehavior.CloseConnection);
            }
        } 
        #endregion

        #region 执行 增、删、改 的方法 +static void ExecuteNonQuery(string sql, out bool flag)
        /// <summary>
        /// 执行 增、删、改 的方法
        /// </summary>
        /// <param name="sql">SQL语句</param>
        /// <returns>返回执行结果  true OR false</returns>
        public static bool ExecuteNonQuery(string sql)
        {
            var flag = false;
            using (SqlConnection conn = new SqlConnection(SqlHelper.CONNECTIONSTRING))
            {
                conn.Open();
                using (SqlCommand cmd = new SqlCommand(sql, conn))
                {
                    flag = cmd.ExecuteNonQuery() > 0 ? true : false;
                }
            };
            return flag;
        } 
        #endregion

4.小说实体类

    /// <summary>
    /// 小说 实体类
    /// </summary>
    public class Story
    {
        /// <summary>
        /// 小说编号
        /// </summary>
        public int ID { get; set; }
        /// <summary>
        /// 小说标题
        /// </summary>
        public string Title { get; set; }
        /// <summary>
        /// 作者
        /// </summary>
        public string Author { get; set; }
        /// <summary>
        /// 小说内容
        /// </summary>
        public string Content { get; set; }
        /// <summary>
        /// 小说在线阅读地址
        /// </summary>
        public string URL { get; set; }
    }

5.前台

<form id="form1" runat="server" method="post">
    <asp:TextBox ID="txtKW" runat="server" Width="291px"></asp:TextBox>
    <asp:Button ID="btnSearch" runat="server" Text="搜索" onclick="btnSearch_Click" />
                    
    <asp:Button ID="btnCreateIndex" runat="server" Text="创建索引"
        onclick="btnCreateIndex_Click"/>
    <asp:GridView ID="gdvShowStory" runat="server" AutoGenerateColumns="False" CellPadding="4"
        ForeColor="#333333" GridLines="None">
        <AlternatingRowStyle BackColor="White" ForeColor="#284775" />
        <Columns>
            <asp:TemplateField HeaderStyle-Width="3%">
                <HeaderTemplate>
                    编号
                </HeaderTemplate>
                <ItemTemplate>
                    <asp:Label ID="Label1" runat="server" Text='<%# Eval("ID") %>'></asp:Label>
                </ItemTemplate>
            </asp:TemplateField>
            <asp:TemplateField HeaderStyle-Width="10%">
                <HeaderTemplate>
                    标题
                </HeaderTemplate>
                <ItemTemplate>
                    <asp:Label ID="Label2" Text='<%# Eval("Title") %>' runat="server"></asp:Label>
                </ItemTemplate>
            </asp:TemplateField>
            <asp:TemplateField HeaderStyle-Width="8%">
                <HeaderTemplate>
                    作者
                </HeaderTemplate>
                <ItemTemplate>
                    <asp:Label ID="Label2" Text='<%# Eval("Author") %>' runat="server"></asp:Label>
                </ItemTemplate>
            </asp:TemplateField>
            <asp:TemplateField HeaderStyle-Width="70%">
                <HeaderTemplate>
                    内容
                </HeaderTemplate>
                <ItemTemplate>
                    <asp:Label ID="Label2" Text='<%# Eval("Content") %>' runat="server"></asp:Label>
                </ItemTemplate>
            </asp:TemplateField>
            <asp:TemplateField HeaderStyle-Width="5%">
                <HeaderTemplate>
                    操作
                </HeaderTemplate>
                <ItemTemplate>
                    <a href='<%#Eval("URL") %>'>在线阅读</a>
                </ItemTemplate>
            </asp:TemplateField>
        </Columns>
        <EditRowStyle BackColor="#999999" />
        <FooterStyle BackColor="#5D7B9D" Font-Bold="True" ForeColor="White" />
        <HeaderStyle BackColor="#5D7B9D" Font-Bold="True" ForeColor="White" />
        <PagerStyle BackColor="#284775" ForeColor="White" HorizontalAlign="Center" />
        <RowStyle BackColor="#F7F6F3" ForeColor="#333333" />
        <SelectedRowStyle BackColor="#E2DED6" Font-Bold="True" ForeColor="#333333" />
        <SortedAscendingCellStyle BackColor="#E9E7E2" />
        <SortedAscendingHeaderStyle BackColor="#506C8C" />
        <SortedDescendingCellStyle BackColor="#FFFDF8" />
        <SortedDescendingHeaderStyle BackColor="#6F8DAE" />
    </asp:GridView>
    </form>

注：需要引入几个类库

123

OK，到此为止，一个简单的Demo出来了，看看效果吧：

* 源码下载地址：点我下载源码

chernyog
关注
专栏目录
使用Lucene.net进行全文搜索
06-23
使用Lucene.net进行全文查找多关键字匹配
Lucene.Net 实现全文检索
03-10
本案例通过.Net MVC4基础上，针对Lucene.Net实现全文检索的应用。通过查询数据表中数据，创建索引，通过统一输入框进行全文检索。可以进行对索引的增删改查功能。
使用Lucene.Net实现全文检索
weixin_34320159的博客
12-24 215
目录 一Lucene.Net概述 二 分词 三 索引 四 搜索 五 实践中的问题 一Lucene.Net概述 　　Lucene.Net是一个C#开发的开源全文索引库，其源码包括“核心”与“外围”两部分。外围部分实现辅助功能，而核心部分包括： Lucene.Net.Index 提供索引管理，词组排序。 Lucene.Net.Search 提供查询相关功能。 Luce...
三大.NET全文搜索框架比较：Lucene.NET, Elasticsearch, Solr 实战与性能分析
最新发布
Hellc007的博客
09-12 1280
Lucene.NET适合需要定制化搜索解决方案并且对集群没有太多需求的小型项目或单机应用。是大规模数据和分布式搜索的理想选择，适合实时搜索和复杂查询需求。更适合企业级应用，功能强大，但配置和维护复杂。这三者各有优势，具体选择取决于项目规模、搜索需求和扩展性要求。
Lucene.net 实现全文搜索
weixin_30547797的博客
08-01 102
忙了几天终于实现一个简单的全文搜索在此回顾总结一下 本文介绍一下Lucene.Net 是什么？Lucene.Net 能作什么？以及怎么做的问题？最后给出 Lucene.Net 实现全文搜索的一个示例 1、Lucene.Net 是什么？ Lucene.net 起初是一个开源项目然后转向商业化，也在Lucene.net 2.0已经发布，不过是要money D ,Lucene.net的命...
Lucene的工作原理
HillMover's BLOG
12-21 3782
  　在好久以前就想学一下Lucene搜索引擎工具，但一直没安排好时间，网上关于它的介绍也不多。网上有好多人在为它的推广不停地努力，我所知道的比较出名的如车东，在搜索引擎方面有很深的研究。我现在只是一个初学者，所能做的只能是站在他们的肩膀上，去学他们的技术，记录他们的只言片语。　　以下就是我记录了他们关于Lucene的资料，我总结如下：（在文章最后我会标明出处！）Lucene的概述：　　Lucen
基于ASP.NET的lucene.net全文搜索实现步骤
01-02
在做项目的时候，需求添加全文搜索，选择了lucene.net方向，调研了一下，基本实现了需求，现在将它分享给大家。理解不深请多多包涵。 在完成需求的时候，查看的大量的资料，本文不介绍详细的lucene.net工程建立，只...
Lucene.Net全文检索Demo
01-25
**Lucene.Net全文检索Demo详解** Lucene.Net是一款开源的全文搜索引擎库，它是Apache Lucene项目在.NET平台上的实现。Lucene.Net提供了高效、可扩展的搜索功能，被广泛应用于各种需要快速、精确检索信息的系统中。...
【ASP.NET编程知识】基于ASP.NET的lucene.net全文搜索实现步骤.docx
05-21
Lucene.NET是一个高性能、可扩展的信息检索库，可以处理大量文本数据并提供高效的搜索服务。以下是一些关于如何在ASP.NET项目中使用Lucene.NET实现全文搜索的基本步骤和关键知识点。 1. **安装Lucene.NET库** 首先...
.NET 的 Lucene
rijcm的专栏
11-23 1708
.NET 的 Lucene 开源的项目有不少在成名之后转向商业发展。FreeTextBox 就是一个，它在 1.6.5 版本之后发布的 2.0 开始了商业路线，2.0 提供了 DLL 方式的免费版本，源代码版本则必须购买商业的许可 licence；不过它留下了 1.6.5 版本的源代码，还是可以看到大部分的内部细节，但 2.0 版本中添加的对 Mozilla 浏览器的支持部分只有通过它生成
Lucene.Net实现全文搜索
06-01
本文介绍Lucene.Net 是什么？Lucene.Net 能作什么？以及怎么做的问题？最后给出 Lucene.Net 实现全文搜索的一个示例
ASP.NET全文检索包含某关键字的word文档（示例）
01-24
使用PageOffice开发平台，实现对word文档的在线处理，并搜索、显示含有关键字的文档。 要获取文档的纯文本，以往的方法都比较复杂，而且效率也不高，但是利用PageOffice的FileSaver 对象的DocumentText属性却能轻而易举的实现。我们在保存页面获取该属性的值，然后将此值存入到数据库中，这样就实现了获取文档纯文本并将其保存至数据库中的功能。 然后是关键字搜索功能，我们通过数据库中存储Word文档纯文本的字段，利用sql语句将包含关键字的文档搜索出来。
Lucene.NET
04-17
Lucene.NET的类库，盘古分词的词库与类库
lucene.net
02-20
lucene.net.dll
Lucene.NET结合Sql建立全文检索Demo源码
07-18
这是用Lucene.NET结合Sql建立全文检索Demo的源码，适合初学者学习Lucene，其中包含所需的DLL文件。
使用Lucene.NET实现全文检索的简单示例
qqqq5701的专栏
05-12 535
在上面的示例中，我们使用RAMDirectory创建一个内存中的索引，并使用StandardAnalyzer对文本进行分析。在上面的示例中，我们使用IndexSearcher搜索索引，并使用QueryParser解析搜索查询。我们搜索包含“全文检索”关键词的文档，并限制搜索结果为10个。使用Lucene.NET搜索索引，可以检索与搜索查询匹配的文档。使用Lucene.NET创建索引，可以将文本数据存储在索引中。总的来说，使用Lucene.NET或其他全文检索引擎可以轻松地实现C#应用程序中的全文检索功能。
Lucene.Net 使用
.net之路
01-27 418
http://www.cnblogs.com/piziyimao/archive/2013/01/31/2887072.html
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值