Elasticsearch.net项目实战

最新推荐文章于 2024-08-22 22:48:15 发布
最新推荐文章于 2024-08-22 22:48:15 发布
阅读量2.8k 收藏
点赞数

elasticsearch.net项目实战

%E5%8C%A01.png

@智客幸达

目录

  • Elasticsearch+kibana
    • 环境搭建
      • windows 10环境配置
      • 安装Elasticsearch
      • head安装(非必需)
      • 安装kibana
    • DSL的基本使用
      • 增加
      • 修改
      • 查询
      • 删除
  • Elasticsearch .Net
    • Low level client基本使用
    • 项目实战
  • 总结
  • 参考

     Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最
先进、性能最好的、功能最全的搜索引擎库。

     一说到全文搜索,lucene久负盛名。早年间,因为项目需要,接触过一个叫盘古分词的开源项目,借助其中的分词实现了分词搜索的功能。而盘古分词就是lucence的.NET版本。据说这个开源项目已经恢复更新并支持. NET Core,有兴趣的童鞋可以去围观一下(https://github.com/LonghronShen/Lucene.Net.Analysis.PanGu/tree/netcore2.0)。

      我想很多童鞋都听过ELK,ELK是Elasticsearch、Logstash、Kibana。正好公司运维同事引入了这样一套体系,用于建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。虽然能够从一定程度上解决基本的问题,但是原生的kibana界面和查询方式都不够友好,很难推向广大的开发人员。于是我在想，我们是否可以利用这个开源的库集成到运维自动化平台当中,让这把利剑发挥出更大的价值。

一、环境搭建
　

本文是基于windows 10操作系统的es环境的搭建。

  1. java环境安装

     由于es是java语言开发的,所以这里要安装java环境。

     jdk下载:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

jdk%E4%B8%8B%E8%BD%BD.png

     安装完成之后就是配置环境变量:


java%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E9%85%8D%E7%BD%AE.png

     查看是否安装成功:


java%E7%89%88%E6%9C%AC.png

2.安装Elasticsearch

    Elasticsearch版本已经比较多,初学者可能比较懵。特别是在安装head和Kibana的时候,如果版本不匹配,往往会导致无法使用。这里使用的是elasticsearch-5.6.11版本。

     elasticsearch-5.6.11下载:

https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-11

%E4%B8%8B%E8%BD%BDelasticsearch5.6.11.png

解压到C:\ELk 备用。

elasticSearh%E8%A7%A3%E5%8E%8B.png

3.head安装(非必需)

    es 4.x 版本安装head很简单,只需下载head插件解压到指定目录即可。es 5.x+需要借助node安装。

     head下载:

https://github.com/mobz/elasticsearch-head

解压到C:\ELk\elasticsearch-5.6.11


%E8%A7%A3%E5%8E%8Belasticsearch_head.png

     node下载:

https://nodejs.org/dist/v8.12.0/node-v8.12.0-win-x64.zip

%E5%AE%89%E8%A3%85nodejs.png

安装node


%E5%AE%89%E8%A3%85node.png

检查node和npm是否安装成功


%E6%A3%80%E6%9F%A5node%E6%98%AF%E5%90%A6%E5%AE%89%E8%A3%85%E6%88%90%E5%8A%9F.png

path环境变量末尾 会自动增加 C:\Program Files\nodejs
安装 phantomjs
官网:http://phantomjs.org/下载【配置环境变量】

安装grunt
npm install -g grunt-cli


%E5%AE%89%E8%A3%85grunt.png

执行C:\ELk\elasticsearch-5.6.11\bin\elasticsearch.bat

执行命令启动 head


%E5%90%AF%E5%8A%A8head.png

浏览器访问:http://localhost:9100/


%E6%B5%8F%E8%A7%88head.png

4.安装kibana

    导致为止,其实elasticsearch自身已经安装完成。通过Head就能很方便的操作es,但是kibana集成了head类似功能,并提供了更加友好的访问界面。

     kibana-5.6.9-windows-x86下载:

https://www.elastic.co/downloads/past-releases/kibana-5-6-9

下载之后,解压到C:\ELk\kibana-5.6.9-windows-x86

执行C:\ELk\kibana-5.6.9-windows-x86\bin\kibana.bat

浏览器访问:http://localhost:5601


%E6%B5%8F%E8%A7%88%E5%99%A8%E8%AE%BF%E9%97%AEkibana.png

二、DSL的基本使用

elasticsearch也像mysql一样提供了专门的语法来操作数据。Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries.

  • 创建文档
PUT people/person/1?op_type=create
{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elasticsearch"
}
  • 修改
POST /user/guest/20/_update
{
    "doc": {
      "RealName":"LukyHuu20"
    }
}
  • 查询
GET /user/guest/_search
{
    "query": {
      "match": {
        "Id":22
      }
    }
}
  • 删除
DELETE /user/guest/15
{
  
}

三、Elasticsearch .Net

     elasticsearch是以restfulAPI方式对外提供接口,并提供客户端给多种语言使用。Elasticsearch uses standard RESTful APIs and JSON. We also build and maintain clients in many languages such as Java, Python, .NET, SQL, and PHP. Plus, our community has contributed many more. They’re easy to work with, feel natural to use, and, just like Elasticsearch, don't limit what you might want to do with them.
参考(https://www.elastic.co/products/elasticsearch)

1.Low level client基本使用

     本文是介绍ES的.NET客户端,Elasticsearch .Net - Low level client[5.x]

通过引入对应的版本的客户端,便可通过C#操作ES。参考(https://www.elastic.co/guide/en/elasticsearch/client/net-api/5.x/elasticsearch-net.html)

连接

var settings = new ConnectionConfiguration(new Uri("http://example.com:9200"))
    .RequestTimeout(TimeSpan.FromMinutes(2));

var lowlevelClient = new ElasticLowLevelClient(settings);

插入文档

 var indexResponse = lowlevelClient.Index<byte[]>("user", "guest", user.Id.ToString(), user);
 byte[] responseBytes = indexResponse.Body;

更新文档

var searchResponse = lowlevelClient.Update<string>("user", "guest", id.ToString(), new
                {
                    doc = new
                    {
                        RealName = realname,
                        Description = description
                    }
                });

bool successful = searchResponse.Success;

查询

var searchResponse = lowlevelClient.Search<string>("user", "guest", new
                {
                    query = new
                    {
                        match = new
                        {
                            Id = id
                        }
                    }
                });

bool successful = searchResponse.Success;

删除

var searchResponse = lowlevelClient.Delete<string>("user", "guest", id.ToString());

                bool successful = searchResponse.Success;

2.项目实战

     前面大致介绍了ES的安装和基本使用。那么,如何在项目中落地呢？

使用nuget安装Elasticsearch.Net 5.6.4

Install-Package Elasticsearch.Net -Version 5.6.4

nuget_es.png

安装完后,


%E9%A1%B9%E7%9B%AE%E4%B8%AD%E7%9A%84es.png

基本的增删该查在项目中的实现上面已经有所介绍,这里重点讲一下查询:

笔者使用的.NET MVC5 Web框架,对于返回的结果笔者做了一个简单封装：


public class ESearchRoot<T>
    {
        /// <summary>
        /// 
        /// </summary>
        public int took { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string timed_out { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public _shards _shards { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public Hits<T> hits { get; set; }
    }

    public class _shards
    {
        /// <summary>
        /// 
        /// </summary>
        public int total { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public int successful { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public int skipped { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public int failed { get; set; }
    }

    public class HitsItem<T>
    {
        /// <summary>
        /// 
        /// </summary>
        public string _index { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string _type { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string _id { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string _score { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public T _source { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public List<int> sort { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public Highlight highlight { get; set; }
    }

    public class Hits<T>
    {
        /// <summary>
        /// 
        /// </summary>
        public int total { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string max_score { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public List<HitsItem<T>> hits { get; set; }
    }

    public class Highlight
    {
        /// <summary>
        /// 
        /// </summary>
        public List<string> Description { get; set; }
    }

因为soure返回的对象是不定的,所以使用了泛型。
本项目soure对应的类,user:


 ///<summary>
    /// 
    /// </summary>
    public class User
    {
        /// <summary>
        /// 
        /// </summary>
        public string Account { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string Phone { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string Email { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string RealName { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string CanReview { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string CanExcute { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string Avatar { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string IsUse { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public int Id { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string Name { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public string Description { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public DateTime CreateTime { get; set; }
        /// <summary>
        /// 
        /// </summary>
        public DateTime ModifyTime { get; set; }
    }

项目使用了带条件的分页查询:

public List<AdminUser> GetBySomeWhere(string keyword, int limit, int pageSize, out int total)
        {
            List<AdminUser> users = new List<AdminUser>();

            total = 0;
            try
            {
                var settings = new ConnectionConfiguration(new Uri("http://localhost:9200/"))
   .RequestTimeout(TimeSpan.FromMinutes(2));

                var lowlevelClient = new ElasticLowLevelClient(settings);

                //根据不同的参数 来构建不同的查询条件
                var request = new object();
                if (!String.IsNullOrEmpty(keyword))
                {
                    request = new
                    {
                        from = limit,
                        size = pageSize,
                        query = new
                        {
                            match = new
                            {
                                Description = keyword
                            }
                        },
                        highlight = new
                        {
                            fields = new
                            {
                                Description = new { }
                            }
                        },
                        sort = new
                        {
                            Id = new
                            {
                                order = "desc"
                            }
                        }
                    };
                }
                else
                {
                    request = new
                    {
                        from = limit,
                        size = pageSize,
                        query = new
                        {
                            match_all = new
                            {

                            }
                        },
                        highlight = new
                        {
                            fields = new
                            {
                                Description = new { }
                            }
                        },
                        sort = new
                        {
                            Id = new
                            {
                                order = "desc"
                            }
                        }
                    };
                }


                var searchResponse = lowlevelClient.Search<string>("user", "guest", request);

                bool successful = searchResponse.Success;
                var responseJson = searchResponse.Body;

                if (!successful)
                {
                    return users;
                }

                ESearchRoot<User> root = JsonHelper.JSONStringObject<ESearchRoot<User>>(responseJson);
                if (root != null)
                {
                    total = root.hits.total;
                    foreach (HitsItem<User> item in root.hits.hits)
                    {
                        if (item._source != null)
                        {
                            string highlightDescription = String.Empty;
                            StringBuilder sbDs = new StringBuilder();
                            if (item.highlight != null && item.highlight.Description.Count > 0)
                            {
                                //ighlightDescription = item.highlight.Description[0];
                                foreach (var d in item.highlight.Description)
                                {
                                    sbDs.Append(d);
                                }
                                highlightDescription = sbDs.ToString();
                            }

                            AdminUser user = new AdminUser
                            {
                                Id = item._source.Id,
                                RealName = item._source.RealName,
                                Account = item._source.Account,
                                Email = item._source.Email,
                                Phone = item._source.Phone,
                                //IsUse=item._source.IsUse,
                                Avatar = item._source.Avatar,
                                Description = item._source.Description,
                                HighlightDescription = highlightDescription,
                                CreateTime = item._source.CreateTime,
                                ModifyTime = item._source.ModifyTime
                            };
                            users.Add(user);
                        }
                    }
                }

                return users;
            }
            catch (ElasticsearchClientException ex)
            {
                //Log4Helper.Error
            }
            return users;
        }

项目最终的效果如下:

es_table.png
es_update.png

四、总结

     elasticsearch是很强大的开源工具,在实现全文搜索上有其独到之处,也是大数据的分析方面利器,值得大家深入去研究和实践。

五、参考

  •   Elasticsearch权威指南
  •   Elasticsearch.Net 5.x
  •   Elasticsearch Reference [5.6] » Document APIs
  •   elasticsearch-net-example

  •   ElasticSearch安装及HEAD插件配置

     个人微信公众号:


%E7%A0%81%E5%86%9C%E5%95%86%E4%B8%9A%E5%8F%82%E8%B0%8B%20%282%29.jpg
ahilll
关注
ElasticSearch的.NET客户端：实战技巧
AI天才研究院
02-10 58
1. 背景介绍 1.1 ElasticSearch简介 ElasticSearch是一个基于Lucene的分布式搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，可以作为一个独立的应用程序运行。它的主要特
Elasticsearch.Net Demo
11-22
　Elasticsearch.Net是一个非常底层且灵活的客户端，它不在意你如何的构建自己的请求和响应。它非常抽象，因此所有的Elasticsearch API被表示为方法，没有太多关于你想如何构建json/request/response对象的东东，并且它还内置了可配置、可重写的集群故障转移机制。 　　Elasticsearch.Net有非常大的弹性，如果你想更好的提升你的搜索服务，你完全可以使用它来做为你的客户端。
elasticsearch.net search入门使用指南中文版
weixin_30426957的博客
12-05 460
原文：http://edu.dmeiyang.com/book/nestusing.html elasticsearch.net为什么会有两个客户端？ Elasticsearch.Net是一个非常底层且灵活的客户端，它不在意你如何的构建自己的请求和响应。它非常抽象，因此所有的Elasticsearch API被表示为方法，没有太多关于你想如何构建json/request/respon...
Elasticsearch简单介绍
最新发布
qq_41938541的博客
08-22 4407
SQL 适用于需要强一致性和复杂关系查询的场景，比如财务系统、事务型数据库。Elasticsearch 更适合大规模实时搜索、日志分析、全文检索等应用场景，具有高扩展性和近实时搜索能力。这两者可以互补使用，SQL 处理结构化数据，ES 提供搜索和分析。
Elasticsearch .NET
KingCruel的专栏
03-21 1991
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口风格的搜 elasticsearch查询主要分为两种类型：精确匹配、全文检索匹配。 精确匹配：例如 term、exists、term set、 range、prefix、 ids、 wildcard、regexp、 fuzzy等。 全文检索：例如match、match_phrase、multi_match、match_phrase_prefix、query_string 等
Net使用ElasticSearch入门
一枝花的浪漫
07-23 1620
Net使用ElasticSearch入门 1 版本说明 Net5的版本 ElasticSearch 7.10.2的版本 Kibana 7.10.2 （主要用于ElasticSearch数据可视化） OS: Windos10 2 ElasticSearch 简介 （引用百度百科） Elasticsearch(以下简称es)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。es是用Java语言开发的，并作为Apache
MVC4图书管理系统Elasticsearch.Net实战教程
"本篇教程详细讲解了如何在MVC4架构下利用Elasticsearch.Net库开发一个图书管理系统。首先，文章从项目结构图入手，介绍了Model层中的关键类`Book`，它包含了图书的基本属性如ID（由数据库自动生成）、标题、前言、...
.NET Core实战项目之CMS系列教程的源码，精简而又功能丰富的权限设计，内容管理设计让你轻松搭建一个ASP.N.zip
02-03
.NET Core实战项目之CMS系列教程源码解析与学习 在这个.NET Core实战项目中，我们主要关注的是CMS（Content Management System）的设计与实现，这是一套精简但功能强大的权限管理和内容管理系统，它基于ASP.NET ...
ElasticSearch项目实战
07-27
- *2* [Elasticsearch 实战 - 第六讲：ES 项目实战（二）：基本操作、批处理、高级查询](https://blog.csdn.net/a767815662/article/details/104705378)[target="_blank" data-report-click={"spm":"1018.2226.3001....
ElasticSearch实战教程
07-22
"ElasticSearch实战教程" ElasticSearch是一款分布式、RESTful 风格的搜索和数据分析引擎，能够达到近实时搜索，稳定，可靠，快速，安装使用方便。客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。 ...
elasticsearch-net, Elasticsearch.Net &嵌套.zip
10-10
elasticsearch-net, Elasticsearch.Net &嵌套 这两个存储库分别为和收费 Elasticsearch.Net，这两个正式的elasticsearch. NET 客户机。兼容矩阵Elasticsearch客户端支持 Windows CI Linux CI Nuget CI
elasticsearch-net：Elasticsearch.Net和NEST
02-28
NEST和Elasticsearch.Net的存储库，这是两个官方 .NET客户端。 目录 相容性矩阵 .NET客户端 弹性搜索 支持的 Windows / Linux CI 测验 0.x 0.x :cross_mark: :minus: :minus: 1.x 1.x :cross_mark: :minus: :minus: 2.x 2.x :cross_mark: :minus: :minus: 5.x 5.x :cross_mark: 6.x 6.x :check_mark_button: 7.x 7.x :check_mark_button: master master :cross_mark: 请参阅以获取完整信息。 进一步的兼容性说明 我可以对5.6服务器使用7.0.0客户端（对旧服务器使用新客户端），对7.2服务器使用6.0客户端（对新服务器使用旧服务器）吗？ 不，不建议这样做。 客户端和服务器的不同主要版本之间没有兼容性保证。 服务器的主要版本之间可能存在主要差异，尤其是在请求和响应对
Elasticsearch.Net使用入门教程（1）
10-21
主要为大家详细介绍了Elasticsearch.Net使用入门教程,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Elasticsearch(一)【.Net客户端介绍】
极客神殿
03-22 4048
介绍您已到达Elasticsearch.Net和NEST的文档页面，Elasticsearch的两个官方.NET客户端。为什么要两个客户？ Elasticsearch.Net是一个非常低级别，依赖自由的客户端，没有对如何构建和表示您的请求和响应的意见。它已经抽象得足够，以便所有的Elasticsearch API端点都被表示为方法，但没有太多，妨碍你如何构建你的json /请求/响应对象。它还内置
Elasticsearch的特点以及应用场景
王道长的技术博客
05-09 4259
文章目录前言1、Elasticsearch的功能1.分布式的搜索引擎和数据分析引擎2.全文检索，结构化检索，数据分析3.对海量数据进行近实时的处理2、Elasticsearch的适用场景3、Elasticsearch的特点1. 支持分布式集群2. 支持将全文检索、数据分析以及分布式3. 开箱即用的，非常简单4. 不支持事务，还有各种联机事务型的操作5. 特殊的功能 前言 1、Elasticsear...
elasticsearch.net search入门使用指南中文版(翻译)
weixin_34293902的博客
02-05 173
    http://www.51xuediannao.com/c_asp_net/elasticsearch_net.html
.Net使用ElasticSearch
黄瓜炒鸡蛋的博客
03-14 1638
.Net使用ElasticSearch
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值