分布式搜索

最新推荐文章于 2024-07-23 23:28:20 发布

Maybe3230

最新推荐文章于 2024-07-23 23:28:20 发布

阅读量639

点赞数

文章标签： elasticsearch

本文链接：https://blog.csdn.net/Maybe3230/article/details/123502566

版权

本文详细介绍了Elasticsearch（ES）的核心概念，包括倒排索引、文档和字段、索引库操作、文档操作以及RESTful API的使用。文章探讨了ES与MySQL的异同，强调了它们在不同场景下的优势，并展示了如何实现数据同步。此外，还涵盖了集群搭建、脑裂问题以及集群中节点的角色和故障转移，深入解析了分布式搜索的存储和查询机制。

摘要由CSDN通过智能技术生成

分布式搜索

初识elasticsearch

了解elasticsearch

elasticsearch的作用

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

ELK技术栈

· elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域

· elasticsearch是elastic stack的核心，负责存储、搜索、分析数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-71a4y0MY-1647326797236)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314141108276.png)]

总结

什么是elasticsearch？

一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

倒排索引

正向索引

那么什么是正向索引呢？例如给下表（tb_goods）中的id创建索引：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dr141XS1-1647326797237)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720195531539.png)]

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

1）用户搜索数据，条件是title符合"%手机%"

2）逐行获取数据，比如id为1的数据

3）判断数据中的title是否符合用户搜索条件

4）如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

倒排索引

倒排索引中有两个非常重要的概念：

文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条
创建表，每行数据包括词条、词条所在文档id、位置等信息
因为词条唯一性，可以给词条创建索引，例如hash表结构索引

如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L7zEI5uh-1647326797238)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720200457207.png)]

倒排索引的搜索流程如下（以搜索"华为手机"为例）：

1）用户输入条件"华为手机"进行搜索。

2）对用户输入内容分词，得到词条：华为、手机。

3）拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档。

如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4BKVkSkW-1647326797238)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720201115192.png)]

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

正向和倒排

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。
而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

是不是恰好反过来了？

那么两者方式的优缺点是什么呢？

正向索引：

优点：
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
缺点：
- 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：
- 根据词条搜索、模糊搜索时，速度非常快
缺点：
- 只能给词条创建索引，而不是字段
- 无法根据字段做排序

· elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处

文档和字段

elasticsearch是面向**文档（Document）**存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ce4KDw6Q-1647326797239)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720202707797.png)]

而Json文档中往往包含很多的字段（Field），类似于数据库中的列

索引和映射

索引（Index），就是相同类型的文档的集合。

例如：

所有用户文档，就可以组织在一起，称为用户的索引；
所有商品的文档，可以组织在一起，称为商品的索引；
所有订单的文档，可以组织在一起，称为订单的索引；

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pPjcSb8z-1647326797239)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720203022172.png)]

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

ES概念

mysql与elasticsearch

我们统一的把mysql与elasticsearch的概念做一下对比：

MySQL	Elasticsearch	说明
Table	Index	索引(index)，就是文档的集合，类似数据库的表(table)
Row	Document	文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
Column	Field	字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQL	DSL	DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

Mysql：擅长事务类型操作，可以确保数据的安全和一致性
Elasticsearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

对安全性要求较高的写操作，使用mysql实现
对查询性能要求较高的搜索需求，使用elasticsearch实现
两者再基于某种方式，实现数据的同步，保证一致性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u26KoSjH-1647326797240)(C:\Users\maybe3032\Desktop\学习资料\day05-Elasticsearch01\讲义\assets\image-20210720203534945.png)]

安装es、kibana

找文档

安装IK分词器

找文档

总结

分词器的作用是什么？

创建倒排索引时对文档分词
用户搜索时，对输入的内容分词

IK分词器有几种模式？

ik_smart：智能切分，粗粒度
ik_max_word：最细切分，细粒度

IK分词器如何拓展词条？如何停用词条？

利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
在词典中添加拓展词条或者停用词条

索引库操作

· 索引库就类似数据库表，mapping映射就类似表的结构。

我们要向es中存储数据，必须先创建“库”和“表”

mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

type：字段数据类型，常见的简单类型有：
- 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
- 数值：long、integer、short、byte、double、float、
- 布尔：boolean
- 日期：date
- 对象：object
index：是否创建索引，默认为true
analyzer：使用哪种分词器
properties：该字段的子字段

{
   
    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "黑马程序员Java讲师",
    "email": "zy@itcast.cn",
    "score": [99.1, 99.5, 98.9],
    "name": {
   
        "firstName": "云",
        "lastName": "赵"
    }
}

索引库的CRUD

创建索引库

请求方式：PUT
请求路径：/索引库名，可以自定义
请求参数：mapping映射

PUT /heima
{
  "mappings": {
    "properties": {
      "info":{ 
        "type": "text",
        "analyzer": "ik_smart"
      },
      "email":{
        "type": "keyword",
        "index": "falsae" #不需要索引
      },
      "name":{
        "properties": {
          "firstName": {
            "type": "keyword"
          }
        }
      },
      // ... 略
    }
  }
}

查询索引库

请求方式：GET
请求路径：/索引库名
请求参数：无

GET /索引库名

修改索引库

· 倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。

· 虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

PUT /索引库名/_mapping
{
   
  "properties": {
   
    "新字段名":{
    //需要是全新的字段名，不然会报错
      "type": "integer"
    }
  }
}

删除索引库

请求方式：DELETE
请求路径：/索引库名
请求参数：无

DELETE /索引库名

总结

创建索引库：PUT /索引库名
查询索引库：GET /索引库名
删除索引库：DELETE /索引库名
添加字段：PUT /索引库名/_mapping

文档操作

新增文档

POST /索引库名/_doc/文档id
{
   
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
   
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

查询文档

· 根据rest风格，新增是post，查询应该是get，不过查询一般都需要条件，这里我们把文档id带上

GET /{索引库名称}/_doc/{id}

修改文档

全量修改：直接覆盖原来的文档
增量修改：修改文档中的部分字段

全量修改

· 全量修改是覆盖原来的文档，其本质是：

根据指定的id删除文档
新增一个相同id的文档

注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了

PUT /{
   索引库名}/_doc/文档id
{
   
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

增量修改

· 增量修改是只修改指定id匹配的文档中的部分字段

POST /{
   索引库名}/_update/文档id
{
   
    "doc": {
   
         "字段名": "新的值",
    }
}

删除文档

· 删除使用DELETE请求，同样，需要根据id进行删除

DELETE /{索引库名}/_doc/id值

总结

创建文档：POST /{索引库名}/_doc/文档id { json文档 }
查询文档：GET /{索引库名}/_doc/文档id
删除文档：DELETE /{索引库名}/_doc/文档id
修改文档：
- 全量修改：PUT /{索引库名}/_doc/文档id { json文档 }
- 增量修改：POST /{索引库名}/_update/文档id { “doc”: {字段}}

RestAPI

导入工程

mapping映射分析

创建索引库，最关键的是mapping映射，而mapping映射要考虑的信息包括：

字段名
字段数据类型
是否参与搜索
是否需要分词
如果分词，分词器是什么？

其中：

字段名、字段数据类型，可以参考数据表结构的名称和类型
是否参与搜索要分析业务来判断，例如图片地址，就无需参与搜索
是否分词呢要看内容，内容如果是一个整体就无需分词，反之则要分词
分词器，我们可以统一使用ik_max_word

PUT /hotel
{
   
  "mappings": {
   
    "properties": {
   
      "id": {
   
        "type": "keyword"
      },
      "name":{
   
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to": "all"
      },
      "address":{
   
        "type": "keyword",
        "index": false
      },
      "price":{
   
        "type": "integer"
      },
      "score":{
   
        "type": "integer"
      },
      "brand":{
   
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
   
        "type": "keyword",
        "copy_to": "all"
      },
      "starName":{
   
        "type": "keyword"
      },
      "business":{
   
        "type": "keyword"
      },
      "location":{
   
        "type": "geo_point"
      },
      "pic":{
   
        "type": "keyword",
        "index": false
      },
      "all":{
   
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

location：地理坐标，里面包含精度、纬度
all：一个组合字段，其目的是将多字段的值利用copy_to合并，提供给用户搜索

地理坐标说明

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GfH3pMTS-1647326797240)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314153620442.png)]

copy_to说明

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4HDDnhe-1647326797241)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314153630856.png)]

初始化RestClient

· 在elasticsearch提供的API中，与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接

引入es的RestHighLevelClient依赖

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本

<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

初始化RestHighLevelClient

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
        HttpHost.create("http://192.168.150.101:9200")
));

创建索引库

1）创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。
2）添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。
3）发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MHK8rEi7-1647326797241)(C:\Users\maybe3032\AppData\Roaming\Typora\typora-user-images\image-20220314155230408.png)]

在hotel-demo的cn.itcast.hotel.constants包下，创建一个类，定义mapping映射的JSON字符串常量

package cn.itcast.hotel.constants;

public class HotelConstants {
   
    public static final String MAPPING_TEMPLATE = "{\n" +
            "  \"mappings\": {\n" +
            "    \"properties\": {\n" +
            "      \"id\": {\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"name\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"address\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"price\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"score\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"brand\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"city\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"starName\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"business\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"location\":{\n" +
            "        \"type\": \"geo_point\"\n" +
            "      },\n" +
            "      \"pic\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"all\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\"\n" +
            "      }\n" +
            "    }\n" +
            "  }\n" +
            "}";
}

hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现创建索引

@Test
void createHotelIndex() throws IOException {
   
    // 1.创建Request对象
    CreateIndexRequest request = new CreateIndexRequest("hotel");
    // 2.准备请求的参数：DSL语句
    request.source(MAPPING_TEMPLATE