Elastisearch 简介 使用 Query DSL 映射 分词 Elasticsearch-Rest-Client

1、简介

     Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎。在大数据检索的效率下，比mysql等传统数据库效率高几十倍。淘宝，京东，首页分类检索底层都是用至少Elasticsearch级别数据搜索框架。

2、基本概念

 

2.1 索引（Index）  就像mysql的数据库

    Elastic 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。

所以，Elastic 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。

• 索引做动词，相当于mysql的insert
• 索引做名词，相当于mysql的database

2.2 Type（类型）

     在 Index（索引）中，可以定义一个或多个类型。

     类似于 MySQL 的 Table，每一种类    型的数据存放在一起。

但是：在Elasticsearch6.0之后，Type 类型被移除。

   ElasticSearch7-去掉type概念：

     关系型数据库中两个数据表示是独立的，即使他们里面有相同名称的列也不影响使用，但ES中不是这样的。elasticsearch是基于Lucene开发的搜索引擎，而ES中不同type下名称相同的filed最终在Lucene中的处理方式是一样的。

• 两个不同type下的两个user_name，在ES同一个索引下其实被认为是同一个filed，你必须在两个不同的type中定义相同的filed映射。否则，不同type中的相同字段名称就会在处理中出现冲突的情况，导致Lucene处理效率下降。
• 去掉type就是为了提高ES处理数据的效率。
• Elasticsearch 7.x URL中的type参数为可选。比如，索引一个文档不再要求提供文档类型。
• Elasticsearch 8.x 不再支持URL中的type参数。

解决办法：

     将索引从多类型迁移到单类型，每种类型文档一个独立索引
     将已存在的索引下的类型数据，全部迁移到指定位置即可。详见数据迁移

 2.3 Document（文档）

        保存在某个 Index（索引）下，某种 Type（类型）的一个数据，Document（文档）是JSON格式的，Document 就像是 MySQL 中某个 Table 里面每一行的数据，字段就是Document里的属性。

2.4 字段（Fields）

    每个Document都类似一个JSON结构，它包含了许多字段，每个字段都有其对应的值，多个字段组成了一个 Document，可以类比关系型数据库数据表中的字段。
  在 Elasticsearch 中，文档（Document）归属于一种类型（Type），而这些类型存在于索引（Index）中，下图展示了Elasticsearch与传统关系型数据库的类比：

3、Elasticsearch-基本使用

3.1 安装并运行Elasticsearch 

网上找教程吧，还是挺麻烦的。

启动成功后，Elasticsearch运行在本地的9200端口，在浏览器中输入网址“http://localhost:9200/”，如果看到以下信息就说明你的电脑已成功安装Elasticsearch：

{
  "name" : "YTK8L4q",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "hB2CZPlvSJavhJxx85fUqQ",
  "version" : {
    "number" : "6.5.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

3.2 _cat  查看节点

（1） /_cat/nodes：查看所有节点

接口： GET http://192.168.163.131:9200/_cat/nodes

用PostMan 来模拟，访问该接口

 （2）/_cat/health：查看ES健康状况

接口：GET http://192.168.163.131:9200/_cat/health

 （3）/_cat/master：查看主节点信息

接口：GET http://192.168.163.131:9200/_cat/master

（4）  /_cat/indicies：查看所有索引

等价于 mysql 数据库的 show databases;

接口：GET http://192.168.163.131:9200/_cat/indices

 3.3 索引一个文档（新增）

即保存一条数据，保存在哪个索引的哪个类型下，指定用哪个唯一标识。

（1）PUT 请求

接口：PUT http://192.168.163.131:9200/customer（索引）/external（type）/1（id）

 （2）POST请求

接口：POST http://192.168.163.131:9200/customer/external/

案例就没带id，但是自动生成了id

 （3）小结

PUT和POST：

• POST新增，如果不指定id，会自动生成id。指定id就会修改这个数据，并新增版本号；
• PUT可以新增也可以修改。PUT必须指定id；由于PUT需要指定id，我们一般用来做修改操作，不指定id会报错。

3.4 查看文档

/index/type/id

接口：GET http://192.168.163.131:9200/customer（索引）/external（type）/1（id）

 解释：

{
    "_index": "customer",  # 在哪个索引(库)
    "_type": "external",   # 在哪个类型(表)
    "_id": "1",						 # 文档id(记录)
    "_version": 5,				 # 版本号
    "_seq_no": 4,					 # 并发控制字段，每次更新都会+1，用来做乐观锁
    "_primary_term": 1,		 # 同上，主分片重新分配，如重启，就会变化
    "found": true,
    "_source": {					 # 数据（javaApi，查数据，就是要取这个_source）
        "name": "zhangsan"
    }
}

# 乐观锁更新时携带 ?_seq_no=0&_primary_term=1  当携带数据与实际值不匹配时更新失败

3.5 更新文档 /index/type/id/_update

接口：POST http://192.168.163.131:9200/customer/external/1/_update

几种更新文档的区别

在上面索引文档即保存文档的时候介绍，还有两种更新文档的方式：

• 当PUT请求带id，且有该id数据存在时，会更新文档；
• 当POST请求带id，与PUT相同，该id数据已经存在时，会更新文档；

这两种请求类似，即带id，且数据存在，就会执行更新操作。

类比：

• 请求体的报文格式不同，_update方式要修改的数据要包裹在 doc 键下
• _update方式不会重复更新，数据已存在不会更新，版本号不会改变，另两种方式会重复更新（覆盖原来数据），版本号会改变

• 这几种方式在更新时都可以增加属性，PUT请求带id更新和POST请求带id更新，会直接覆盖原来的数据，不会在原来的属性里面新增属性

3.6 删除文档&索引

（1）删除文档

接口：DELETE http://192.168.163.131:9200/customer/external/1

 （2）删除索引

 接口：DELETE http://192.168.163.131:9200/customer

4、 bulk-批量操作数据

语法格式：

{action:{metadata}}\n   // 例如index保存记录，update更新
{request body  }\n  //文档的内容了

{action:{metadata}}\n
{request body  }\n

4.1 指定索引和类型的批量操作

接口：POST /customer/external/_bulk

参数：

{"index":{"_id":"1"}}
{"name":"John Doe"}
{"index":{"_id":"2"}}
{"name":"John Doe"}

在Kibana中使用dev-tools测试批量：

 4.2 对所有索引执行批量操作

接口：POST /_bulk

参数：

{"delete":{"_index":"website","_type":"blog","_id":"123"}}
{"create":{"_index":"website","_type":"blog","_id":"123"}}
{"title":"my first blog post"}
{"index":{"_index":"website","_type":"blog"}}
{"title":"my second blog post"}
{"update":{"_index":"website","_type":"blog","_id":"123"}}
{"doc":{"title":"my updated blog post"}}

• 这里的批量操作，