ElasticSearch 7.7.0 通识篇

前言

本篇文章主要是简单介绍下ES是什么？以及他的使用场景，然后再简单了解下基本的概念以及基本的增删改查操作。最后结合一个小案例体会下ES的相关应用。所以本篇文章主要是入门了解ES。

 

一 ES 定义

官网原话：Elasticsearch is a real-time, distributed storage, search, and analytics engine

Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。

（1）分布式的文档存储引擎

（2）分布式的搜索引擎和分析引擎

（3）分布式，支持PB级数据

二 ES 的使用场景

2.1 分布式的搜索引擎和数据分析引擎

搜索：百度，网站的站内搜索(新闻网站内搜索，电商商品搜索)，IT系统的检索

数据分析：比如最近一个月销量前10的商品，或者说最近一周的交易额

2.2 全文检索 结构化检索

全文检索：比如我想查询标题“包含新冠病毒”的文章 （类似于 where  title like '%包含新冠病毒%'）

结构化检索：比如我我想查询水和乳的销量。（类似于按照类型查询 where  type in ("水","乳")）

部分匹配、自动完成、搜索纠错、搜索推荐

2.3 海量数据近乎实时的处理

分布式：ES内部可以将海量数据分散到多台服务器上去存储和检索。

海量数据的处理：分布式以后，就可以采用大量的服务器去存储和检索数据，自然而然就可以实现海量数据的处理了

近实时：秒级别对数据进行搜索和分析

三 ES 基本概念

3.1 lucene和elasticsearch的关系

lucene，最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂（实现一些简单的功能，写大量的java代码），需要深入理解原理（各种索引结构）

elasticsearch，基于lucene，隐藏复杂性，提供简单易用的restful api接口、java api接口（还有其他语言的api接口）

lucene他是单机应用，只能在单台服务器上使用，最多只能处理单台服务器可以处理的数据量(lucene他和分布式/海量数据是相反的，说白了就是单机版游戏)

3.2 Near Realtime（NRT）近实时

   从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；

   基于es执行搜索和分析可以达到秒级

 

3.3 Cluster 集群

包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点

3.4 Node 节点

集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群

3.5 Document&field 文档

es中的最小数据单元，一个document可以是一条数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。一个document里面有多个field，每个field就是一个数据字段。例如一条商品的document

{
  "product_id": "1",
  "product_name": "SKII",
  "product_desc": "神仙水",
  "category_id": "2",
  "category_name": "日化用品"
}

3.6 Index 索引

含有相同属性的文档集合，类似于数据库的概念。一个index包含很多document，一个index就代表了一类类似的或者相同的document。

3.7 Type 类型

类似于数据库的表概念，但是这个目前已经弃用，在8.x被移除

3.8 shard 分片

单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。

3.9 replica 副本

任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica还可以提升搜索操作的吞吐量和性能。primary shard（建立索引时一次设置，不能修改，默认5个），replica shard（随时修改数量，默认1个），默认每个索引10个shard，5个primary shard，5个replica shard，最小的高可用配置，是2台服务器。

结合一张图，表示这几个元素直接的关系。

 

四 ES 极速入门

4.1 ES是面向文档的搜索分析引擎。

首先我们要清楚es是面向文档的（也就是面向json串的）。他和我们之前的面向数据库编程不太一样。

下面举个常见的例子。

一个常见的数据对象结构：

/**
 *员工信息
 */
public class Employee {
  private String email;
  private String firstName;
  private String lastName;
  private EmployeeInfo info;
  private Date joinDate;
}
/**
 *员工基本信息
 */
private class EmployeeInfo {
  private String bio; // 性格
  private Integer age;
  private String[] interests; // 兴趣爱好
}
//员工基本信息
EmployeeInfo info = new EmployeeInfo();
//员工信息
Employee employee = new Employee();
employee.setInfo(info);
employee.setJoinDate(new Date());

上面的代码大家都很熟悉，employee对象：里面包含了Employee类自己的属性，还有一个EmployeeInfo对象。

数据库的做法：

我们常见的做法是拆解两个表：employee表，employee_info表，将employee对象的数据重新拆开来，变成Employee数据和EmployeeInfo数据

employee表：email，first_name，last_name，join_date，4个字段

employee_info表：bio，age，interests，3个字段；此外还有一个外键字段，比如employee_id，关联着employee表。

ES的做法：

{
   "email": "zhangsan@163.com",
   "first_name": "san",
   "last_name": "zhang",
   "info": {
       "bio": "xxxx",
       "age":  29,
       "interests": [ "xxxx", "xxxx" ]
   },
   "join_date": "2020/06/01"
}

不难看出，ES是面向文档的，文档中存储的json数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文检索，分析聚合等功能.

4.2 ES简单集群管理

前面了解了es是什么，也了解了es的一些核心概念，下面我们将进行一些基本的操作，来感受下。

4.2.1 快速检查集群的健康状况

ES 提供了一套api，叫做cat api，可以查看es中各种各样的数据

GET /_cat/health?v

epoch      timestamp cluster           status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1590992371 06:19:31  es-docker-cluster green           3         3     16   8    0    0        0             0                  -                100.0%
green：每个索引的primary shard和replica shard都是active状态的
yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态
red：不是所有索引的primary shard都是active状态的，部分索引有数据丢失了

4.2.2 快速查看集群中有哪些索引

GET /_cat/indices?v

4.2.3 简单的索引操作

创建索引：PUT /test_index?pretty

删除索引：DELETE /test_index?prett

4.3 ES 基本操作语法

这里是基本的操作，下面文章我们逐一的对这些操作进行细致的讲解，我们这里就简单的了解下。

method	URL	remark
put	localhost:9200/索引名称/类型名称/文档id	创建文档—指定文档Id
POST	localhost:9200/索引名称/类型名称	创建文档—随机文档Id
POST	localhost:9200/索引名称/类型名称/文档id/_update	修改文档（部分修改）
DELETE	localhost:9200/索引名称/类型名称/文档id	删除文档
GET	localhost:9200/索引名称/类型名称/文档id	查询某条文档
POST	localhost:9200/索引名称/类型名称/_search	查询所有

4.4 ES 简单了解六种搜索

es常见的6种搜索，我们会逐一的学习体会下，然后我们先了解下相关的返回参数是什么意思。

• took：耗费了几毫秒
• timed_out：是否超时
• _shards：数据拆成了5个分片，所以对于搜索请求，会打到所有的primary shard（或者是它的某个replica shard也可以）
• hits.total：查询结果的数量，3个document
• hits.max_score：score的含义，就是document对于一个search的相关度的匹配分数，越相关，就越匹配，分数也高
• hits.hits：包含了匹配搜索的document的详细数据

初始化相关数据

PUT /test/cars/1
{
    "name" : " vv7 suv",
    "desc" :  "suv",
    "price" :  180000,
    "producer" :"changcheng producer",
    "tags": [ "zhongxing", "daqi","gaoduan" ,"suv"]
}
PUT /test/cars/2
{
    "name" : "linke suv",
    "desc" :  "suv",
    "price" :  130000,
    "producer" :      "linke producer",
    "tags": [ "gaoduan" ,"suv","jingchouxing" ]
}

PUT /test/cars/3
{
    "name" : "q5 suv",
    "desc" :  "suv",
    "price" : 400000,
    "producer" :"audi producer",
    "tags": [ "zhongxing","suv"]
}

4.4.1 query string search

搜索全部商品：GET localhost:9200/索引名称/类型名称/_search

搜索商品名称中包含yagao的商品，而且按照售价降序排序：GET localhost:9200/索引名称/类型名称/_search?q=name:yagao&sort=price:desc

适用于临时的在命令行使用一些工具，比如curl，快速的发出请求，来检索想要的信息；但是如果查询请求很复杂，是很难去构建的

这个简单了解下，在生产环境中，几乎很少使用query string search

4.4.2 query DSL

DSL：Domain Specified Language，特定领域的语言

http request body：请求体，可以用json的格式来构建查询语法，比较方便，可以构建各种复杂的语法，比query string search肯定强大多了

更加适合生产环境的使用，可以构建复杂的查询

例1：查询名称包含suv的商品，同时按照价格降序排序

GET /test/cars/_search

{
   "query" : {
       "match" : {
           "name" : "suv"
       }
   },
   "sort": [
       { "price": "desc" }
   ]
}

而易见有三台suv，价格从高到低分别是是奥迪q5、vv7、领克。

例2：分页查询商品，总共3条商品，假设每页就显示1条商品，现在显示第2页，所以就查出来第2个商品

GET /test/cars/_search

{
 "query": { "match_all": {} },
 "from": 1,
 "size": 1
}

例3：指定要查询出来商品的名称和价格就可以

GET /test/cars/_search

{
  "query": { "match_all": {} },
  "_source": ["name", "price"]
}

4.4.3 query filter

例1：搜索商品名称包含suv，而且售价大于15万元的商品

GET /test/cars/_search

{
    "query" : {
        "bool" : {
            "must" : {
                "match" : {
                    "name" : "suv" 
                }
            },
            "filter" : {
                "range" : {
                    "price" : { "gt" : 150000 } 
                }
            }
        }
    }
}

结果显然是 18万的vv7 和40万的奥迪q5

4.4.4 full-text search（全文检索）

例1：搜索包含suv producer

GET /test/cars/_search

{
    "query" : {
        "match" : {
            "producer" : "audi producer"
        }
    }
}

结果三个都能查询到，因为全文检索会将输入的搜索串拆解开来，去倒排索引里面去一一匹配，只要能匹配上任意一个拆解后的单词，就可以作为结果返回。

4.4.5 phrase search（短语搜索）

phrase search跟全文检索相反，它要求输入的搜索串，必须在指定的字段文本中，完全包含一模一样的，才可以算匹配，才能作为结果返回

GET /test/cars/_search

{
    "query" : {
        "match_phrase" : {
            "producer" : "audi producer"
        }
    }
}

结果显然只有一个符合。

4.4.6 highlight search（高亮搜索结果）

GET /test/cars/_search

{
   "query" : {
       "match" : {
           "producer" : "producer"
       }
   },
   "highlight": {
       "fields" : {
           "producer" : {}
       }
   }
}

五 ES 案例练习体会

前面我们学习了相关理论，体会了部分操作，下面我们结合demo，再次体会下es相关操作

5.1 向现有索新增字段

PUT /test/_mapping

{
  "properties": {
    "tags": {
      "type": "text",
      "fielddata": true
    }
  }
}

5.2 计算每个tag下的商品数量

GET /test/cars/_search

{
  "aggs": {
    "group_by_tags": {
      "terms": { "field": "tags" }
    }
  }
}

5.3 搜索name包含suv的商品，并计算每个tag下的商品数量

GET /test/cars/_search

{
  "size": 0,
  "query": {
    "match": {
      "name": "suv"
    }
  },
  "aggs": {
    "all_tags": {
      "terms": {
        "field": "tags"
      }
    }
  }
}

5.4 计算每个tag下的商品平均价格

GET /test/cars/_search

{
    "size": 0,
    "aggs" : {
        "group_by_tags" : {
            "terms" : { "field" : "tags" },
            "aggs" : {
                "avg_price" : {
                    "avg" : { "field" : "price" }
                }
            }
        }
    }
}

5.5 计算每个tag下的商品平均价格，并按平均价格降序排序

GET /test/cars/_search

{
    "size": 0,
    "aggs" : {
        "all_tags" : {
            "terms" : { "field" : "tags", "order": { "avg_price": "desc" } },
            "aggs" : {
                "avg_price" : {
                    "avg" : { "field" : "price" }
                }
            }
        }
    }
}

5.6 按指定价格范围区间分组，再按tag进行分组，最后计算每组平均价格

GET /test/cars/_search

{
  "size": 0,
  "aggs": {
    "group_by_price": {
      "range": {
        "field": "price",
        "ranges": [
          {
            "from": 0,
            "to": 150000
          },
          {
            "from": 150000,
            "to":300000
          },
          {
            "from": 300000,
            "to": 500000
          }
        ]
      },
      "aggs": {
        "group_by_tags": {
          "terms": {
            "field": "tags"
          },
          "aggs": {
            "average_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

总结

本篇主要讲了些es的基本概念，快速入门，以及结合实际需求做了些小练习，让大家更有体会es的crud操作和相关数据分析。整体而言本篇内容是偏基础偏简单的。