C#+ElasticSearch.Net 7.3.2 的学习

已于 2022-06-02 11:35:48 修改
阅读量1k 收藏 3
点赞数 1
分类专栏： ElasticSearch.Net C# 文章标签： elasticsearch .net 搜索引擎
于 2020-09-02 16:11:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lishuangquan1987/article/details/108364026
版权

在windows上搭建ES

1.下载ES

官网：https://www.elastic.co/downloads/elasticsearch
官网下载很慢，这里提供一个百度网盘下载链接：
https://pan.baidu.com/s/1FH43S2MbH0yu5AKLVmfaiA
提取码：qnwb
版本：ES 7.3.2

2.搭建ES

下载之后解压如下图所示：
在这里插入图片描述
进入bin目录：
在这里插入图片描述
双击elasticsearch.bat即可启动ES,但是这个仅仅是本机可以访问。

3.启动远程访问

elasticsearch.yml配置如下：

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node1

node.master: true

node.data: true
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
path.data: .\mydata\data
#
# Path to log files:
#
path.logs: .\mydata\log
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 0.0.0.0
#
# Set a custom port for HTTP:
#
http.port: 9200

transport.tcp.port: 9300
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.seed_hosts: ["192.168.210：9200"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["node1"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

#解决跨域问题
http.cors.enabled: true

http.cors.allow-origin: "*"

http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

http.cors.allow-headers: "X-Requested-With, Content-Type, Content-Length, X-User"


xpack.ml.enabled: false

注册ES服务

在bin目录下，打开cmd控制台
输入以下命令,即可安装ES服务

elasticsearch-service.bat install

启动ES服务:

elasticsearch-service.bat start

elasticsearch-service.bat后面还可以执行这些命令 :

  1. install: 安装Elasticsearch服务
  2. remove: 删除已安装的Elasticsearch服务（如果启动则停止服务）
  3. start: 启动Elasticsearch服务（如果已安装）
  4. stop: 停止服务（如果启动）
  5. manager:启动GUI来管理已安装的服务

C#操作ES

1.新建一个项目，Nuget引用NEST:
在这里插入图片描述
2.向ElasticSearch中加入数据，加入数据时需要指定索引，我这里的索引是mymodel:
通讯模型类：

public class Model
    {
        public string Name { get; set; }
        public int Age { get; set; }
        public int ID { get; set; }
        public string UUID { get; set; }

        public DateTime CreatedTime { get; set; }

    }

初始化ElasticSearch客户端：

var node = new Uri("http://10.36.10.13:9200/");
var settings = new ConnectionSettings(node);
settings.DefaultIndex("mymodel");
var client = new ElasticClient(settings);

注意：settings.DefaultIndex(“mymodel”);这里是指定默认的索引，下面的操作便不再需要指定索引

向elasticsearch中添加数据：

var randon = new Random();
var list = new List<Model>();
for (int i = 0; i < 1000; i++)
{
    var model = new Model()
    {
        Name = "test" + i,
        Age = randon.Next(0, 100),
        ID = i,
        UUID = Guid.NewGuid().ToString(),
        CreatedTime = DateTime.Now.AddSeconds(i),
    };
    list.Add(model);
}
var result = client.IndexMany(list);

如果是插入一条数据，用Index方法

特别注意：ES索引的名称必须是小写，大写是插入不了数据的

查询

查询所有数据：
var result = client.Search<Model>();

这样不指定条件，不指定大小，查询默认10条数据

指定大小与开始的索引：

 var result = client.Search<Model>(x=>x.From(0).Size(10000));

以上是从0开始，查询10000条数据

按条件查找

字符串包含查找：

var result = client.Search<Model>(x=>x.Query(t=>t.Term(m=>m.UUID, "9479edc0")));

查找UUID包含“9479edc0“的数据

注意：Term查询时，后面的给定关键字必须是小写，不然查询不到值

数字范围查找：

var result = client.Search<Model>(x => x.Query(t => t.Range(a=>a.GreaterThan(80).LessThan(90).Field(b=>b.Age))));

查询年龄在80到90的结果
注意，最后必须要指定Field!!!

日期范围查找：

var result = client.Search<Model>(x => x.Query(t => t.DateRange(a => a.GreaterThan(DateTime.Now).LessThan(DateTime.Now.AddSeconds(3)).Field(m=>m.CreatedTime))).Size(10000));

查询大于当前时间，小于当前时间之后的3s的数据

查找ID在某个数组中：

var list = new List<int>() { 1000, 1001, 1002, 1003 };
var result = client.Search<Model>(x=>x.From(0).Size(10000).Query(t=>t.Terms(m=>m.Field(model=>model.ID).Terms(list))));

Bool查询

 //bool查询  ID大于1000且小于3000 且年龄大于20小于40或年龄大于60小于80  且UUID含有a931b4db的数据

var result = client.Search<Model>(x => x.From(0).Size(10000).Query(a => a.Bool
(
    b => b.Must(c => c.Range(d => d.Field(model => model.ID).GreaterThan(1000).LessThan(3000)))// AND
        .Should(//OR
                c => c.Range(d => d.Field(model => model.Age).GreaterThan(20).LessThan(40)),
                c => c.Range(d => d.Field(model => model.Age).GreaterThan(60).LessThan(80))
                )
        .Must(c => c.Term(d => d.UUID, "a931b4db"))
)));

查询ES自动生成的id:

var results = response.Hits.Select(hit =>
 {
      var result = hit.Source;
      result.Id = hit.Id;
      return result;
 });

C#操作ES总结

一、获取NEST执行时的请求响应报文

1.初始化Setting的时候，加上settings.DisableDirectStreaming(true);

var node = new Uri("http://10.36.10.13:9200/");
var settings = new ConnectionSettings(node);
settings.DefaultIndex("mymodel");
settings.DisableDirectStreaming(true);//设置将请求响应信息写入到RequestBodyInBytes和ResponseBodyInBytes
var client = new ElasticClient(settings);

这样，请求响应的报文就会在ApiCall的RequestBodyInBytes和ResponseBodyInBytes
2.打印请求响应报文，在setting的OnRequestCompleted方法中处理

settings.OnRequestCompleted(x =>
{
    if (x.RequestBodyInBytes != null)
        {
            Console.WriteLine(Encoding.UTF8.GetString(x.RequestBodyInBytes));
        }

        if (x.ResponseBodyInBytes != null)
        {
            Console.WriteLine(Encoding.UTF8.GetString(x.RequestBodyInBytes));
        }
});

二、注意事项

1.建立索引，索引名称必须是小写

settings.DefaultIndex("mymodel");//这里的mymodel必须是小写！！！

2.Term查询时，关键字也必须是小写

c => c.Term(d => d.UUID, "a931b4db")//a931b4db必须是小写，否则查询不到数据！！！

三、查询中文短语

在字段没有特殊标注的默认情况下，string类型的字段会被分词，用Term去查中文短语、英文短语，是查询不到结果的。这种情况下有两种方法处理

1.使用match查询，设置minimum_should_match为100%

client.Search<EventModel>(m => m.Query(x => x.Match(y => y.Field(model => model.device_name).Query("陈岗变").MinimumShouldMatch(MinimumShouldMatch.Percentage(100)))))

这里设置100%，意思是字段device_name中必须包含陈岗变三个字，100%包含。但是陈岗变三个字可以是不连续的,查询出来的结果如下所示：
在这里插入图片描述

2.建立索引时，设置字段为keyword

var result = client.Indices.Create(nameof(EV_COMBINED).ToLower(), c =>
	            c.Map<EV_COMBINED>(m =>m.AutoMap().Properties(n => n.Keyword(x => x.Name(model => model.AssetName).Index(true)))
	            .Properties(n => n.Keyword(x => x.Name(model => model.Description).Index(true))))
);

在创建索引时，设置映射，设置AssetName和Description两个字段为keyword。
然后再往改索引里插入数据。
这样，在查询的时候，我们就可以查询中文短语了，但是这样好像不能中英文混查，没有深入继续研究，而且设置了不分词之后，不能全文检索
3.设置查询结果大于10000条不报错：

PUT alarm/_settings
{ 
  "max_result_window" : 200000000
}

其中alarm是ES的索引名称

参考：
https://www.cnblogs.com/huhangfei/p/7524886.html
https://www.cnblogs.com/huhangfei/p/5726650.html

使用C#代码设置max_result_window

var r = client.Indices.Create(index, c => c.Map<BatDataInfo>(m => m.AutoMap()).Settings(
            s => s.Setting(UpdatableIndexSettings.MaxResultWindow, 1000000)));
if (!r.IsValid)
{
   //...
}
else
{
   //...
}

ES配置模板

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node1

node.master: true

node.data: true
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
path.data: .\mydata\data
#
# Path to log files:
#
path.logs: .\mydata\log
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 192.168.123.210
#
# Set a custom port for HTTP:
#
http.port: 9200

transport.tcp.port: 9300
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.seed_hosts: ["192.168.210：9200"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["node1"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

#解决跨域问题
http.cors.enabled: true

http.cors.allow-origin: "*"

http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

http.cors.allow-headers: "X-Requested-With, Content-Type, Content-Length, X-User"


xpack.ml.enabled: false

使用kibana Dev Tools进行基本操作

获取索引的Mapping:

batdatainfo为索引

GET batdatainfo/_mapping

在这里插入图片描述

新建索引，并设置Mapping

PUT /batdatainfo-new
{
   "mappings" : {
      "properties" : {
        "batid" : {
          "type" : "float"
        },
        "clientname" : {
          "type" : "keyword"
        },
        "cycle" : {
          "type" : "float"
        },
        "stationname" : {
          "type" : "keyword"
        },
        "step" : {
          "type" : "float"
        },
        "uploadtime" : {
          "type" : "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "value" : {
          "type" : "text"
        },
        "valuetype" : {
          "type" : "float"
        }
      }
    }
}

在这里插入图片描述

将数据从旧的索引迁移到新的索引

把数据从batdatainfo索引迁移到batdatainfo-new

POST _reindex
{
  "source": {"index": "batdatainfo"},
  "dest": {"index": "batdatainfo-new"}
}
lishuangquan1987
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C# ES基础使用
weixin_42163307的博客
03-01 2884
C# ES开发记录 1、查询 ES表的人员实体 ///<summary> ///人员列表 ///</summary> publicclassTestESPersonDemo { ///<summary> ///Id ///</summary> publicstringId { get; set; } ...
C#如何使用ES
刘彦的博客
03-10 880
Elasticsearch简介 Elasticsearch （ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。  但是，Lucene只是一个库。想要发挥其强大的作用，你需使用C#将其集成到你的应用中。Lucene非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
Springboot + ElasticSearch + Mysql 的增删改查 附源码 和 资源.rar
04-17
springboot 整合 elasticsearch demo(内含增删改查)以及基本es操作 效果图在这里 ：https://blog.csdn.net/Japhet_jiu/article/details/105581997
Elasticsearch.Net Demo
11-22
　Elasticsearch.Net是一个非常底层且灵活的客户端，它不在意你如何的构建自己的请求和响应。它非常抽象，因此所有的Elasticsearch API被表示为方法，没有太多关于你想如何构建json/request/response对象的东东，并且它还内置了可配置、可重写的集群故障转移机制。 　　Elasticsearch.Net有非常大的弹性，如果你想更好的提升你的搜索服务，你完全可以使用它来做为你的客户端。
C#访问Elasticsearch(ES)
m0_47659279的博客
12-01 3391
文章目录.net访问Elasticsearch先讲一下ElasticLowLevelClient的基本使用创建ES客户端，与ES服务器建立连接添加查询再说ElasticClient创建ES客户端，与ES服务器建立连接添加查询退化 .net访问Elasticsearch .net访问Elasticsearch常借助nuget包Elasticsearch.Net或Nest Elasticsearch.Net提供了ElasticLowLevelClient来作为访问ES的客户端 而Nest提供ElasticCli
Elasticsearch.Net使用入门教程（1）
01-02
本文实例为大家分享了Elasticsearch.Net使用教程，供大家参考，具体内容如下 首先去官网下载Elasticsearch 2.3.4安装包,解压后，在cmd命令行进入安装目录，再进入 bin目录，运行elasticsearch.bat命令。 elasticsearch插件elasticsearch-head安装： bin目录下执行命令plugin -install mobz/elasticsearch-head 然后开始.net编程,构建控制台应用程序 Program.cs代码如下: class Program { static void Main(string[]
【C#】ElasticSearch环境搭建与使用
catshitone的专栏
07-16 8507
以前在.net里如果要做全文搜索的话，一般都会使用Lucene.net配合盘古分词。使用起来麻烦而且还不容易查看数据，后来就出现了ElastiSearch。ES也是基于Lucene并采用java编写， 相当于对Lucene做了一层封装，我们只需要调用ES相关API即可，配合Kibana数据可视化工具可以很方便的分析和统计数据。 ## 1.安装 这里以windows环境为例，linux类似。 移步到ES官网，下载ElasticSearch和Kiba
C# ElasticSearch环境搭建与使用
czjnoe的博客
07-23 411
参考博主文章：https://blog.csdn.net/catshitone/article/details/95939413 Elasticsearch和Kibana官网下载太慢参考下面链接下载： Elasticsearch下载：https://mirrors.huaweicloud.com/elasticsearch/ Kibana下载：https://mirrors.huaweicloud.com/kibana/ ...
ElasticSearch第五步-.net平台下c#操作ElasticSearch详解
weixin_33860553的博客
07-25 1936
前面我们讲解了关于ElasticSearch的安装配置，以及CRUD 本章我将讲解怎么使用c#操作ElasticSearch。 首先你需要一定的技术储备，比如：asp.net webapi，mvc,jsonp,knockout。这些知识在这里不再讲解，请自行Google。 项目DEMO介绍 搜索和索引功能我是以服务(webapi项目)方式提供的，在客户端(mvc项目)中的view视图中，直接使用a...
es的C# api 的封装和使用说明
muzizongheng的专栏
12-26 1840
说明：C#的elastic client通过ConnectionSettings来指定es server的地址C#的Request有多种类型封装，比如Search相关的封装SearchRequest, GetAlias相关的GetAliasRequest， Count相关的CountRequest， ping相关的PingRequest等。  即，es默认支持的关键字都有对应的requestC...
C#使用Elasticsearch(NEST)
L.的博客
03-30 4629
本文介绍C#使用Elasticsearch的基本方法，并提供一个demo 以下说明中包含的http调用，为ElasticsearchTestController中编写的测试方法 初始化 引用NEST 创建ElasticClient对象 ElasticClient elasticClient = new ElasticClient(new ConnectionSettings(new Uri(address)); 新增索引 关键代码 CreateIndexResponse createIndexRespon
C#使用ElasticSearch（ES）插入、查询数据（过滤排序）
dilidida的博客
09-18 1987
C#使用ElasticSearch（ES）插入、查询数据（过滤排序） 这个Demo依赖三个dll Elasticsearch.Net.dll Nest.dll Newtonsoft.Json.dll public class ESDemo { public static ElasticClient client; public static string strIndexName = @"meetup".ToLower(); public st
ElasticSearch-.net平台下c#操作ElasticSearch详解
u014712365的博客
05-18 485
ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense ElasticSearch第三步-中文分词 ElasticSearch第四步-查询详解 ElasticSearch第五步-.net平台下c#操作ElasticSearch详解 前面我们讲解了关于ElasticSearch的安装配置，以及CRUD 本章我将讲解怎...
elasticsearch在C#中的使用
piaochong2006的博客
07-18 303
Authorization: “Basic 用户名和密码的base64加密字符串”elsticsearch中安装了x-pack后，查询时就需要用户名和密码了。官方组件Elasticsearch.Net & NEST。（1）通过user选项带上账号密码，返回正常数据。访问basic认证的页面。无账号密码，不可访问。
(精华)2020年8月18日 C#基础知识点 搜索引擎ElasticSearch的使用
热门推荐
时光隧道
08-18 50万+
项目需要添加Elasticsearch.Net和Nest 相关文档地址 Elasticsearch文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Elasticsearch.Net和Nest官方文档：https://www.elastic.co/guide/en/elasticsearch/client/net-api/7.x/index.html 1、封装ElasticClient提供者 1）创建E
elasticsearch.net 手册
最新发布
08-30
它还提供了一些额外的资源，如链接到官方文档和讨论区的指南，以及一些建议的学习资源和工具，可以帮助开发人员更深入地了解elasticsearch.net和Elasticsearch的工作原理。 总的来说，elasticsearch.net手册是使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值