Elasticsearch分布式搜索笔记

最新推荐文章于 2024-05-28 15:39:35 发布
最新推荐文章于 2024-05-28 15:39:35 发布
阅读量902 收藏
点赞数
分类专栏： 微服务 文章标签： elasticsearch spring cloud 微服务 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64137391/article/details/128068009
版权

Elasticsearch

1.初识Elasticsearch

1.1 什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。

在这里插入图片描述

发展历史

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小结

在这里插入图片描述

1.2 正向索引和倒排索引

正向索引

基于文档id创建索引。查询词条是必须先找到文档，然后判断是否包含词条

在这里插入图片描述

当数据量很大时，要逐条扫描很多数据，性能差

倒排索引(inverted index)

In computer science, an inverted index (also referred to as a postings list, postings file, or inverted file) is a database index storing a mapping from content, such as words or numbers, to its locations in a table, or in a document or a set of documents (named in contrast to a forward index, which maps from documents to content). The purpose of an inverted index is to allow fast full-text searches, at a cost of increased processing when a document is added to the database. The inverted file may be the database file itself, rather than its index. It is the most popular data structure used in document retrieval systems,[1] used on a large scale for example in search engines. Additionally, several significant general-purpose mainframe-based database management systems have used inverted list architectures, including ADABAS, DATACOM/DB, and Model 204.

There are two main variants of inverted indexes: A record-level inverted index（记录水平的倒排索引） (or inverted file index or just inverted file) contains a list of references to documents for each word. A word-level inverted index（单词水平的倒排索引） (or full inverted index or inverted list) additionally contains the positions of each word within a document.[2] The latter form offers more functionality (like phrase searches), but needs more processing power and space to be created.后者功能更加强大，但是需要更高的算力和存储空间

在这里插入图片描述

小结

在这里插入图片描述

1.3 相关概念

elasticsearch面向文档存储，文档数据会被序列化为json格式后，存储到elasticsearch中。

在这里插入图片描述

索引（Index）：相同类型的文档的集合

映射（mapping）：索引中文档的字段约束信息，类似表的结构约束

与mysql的概念对比

在这里插入图片描述

应用场景对比

mysql：擅长事务类型操作，可以确保数据的安全和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

总结

在这里插入图片描述

1.4 安装es

见文档

开启elasticsearch容器和kibana容器

docker start es
docker start kibana

2.ES实操

2.1 DSL 操作索引库

mapping属性

在这里插入图片描述

创建
PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查询
GET /索引库名
删除
DELETE /索引库名
还支持其他语法
DELETE /test
DELETE /test1,test2
DELETE /test_*
DELETE /_all
修改（添加索引）

ES无法对某一个字段进行删除或修改，但是允许添加新的字段到mapping中

PUT /索引库名/_mapping
{
	"properties":{
		"新字段名":{
			"type": "text",
			"index": false,
			"analyzer": "ik_smart"
		}
	}
}

2.2 DSL 文档操作

添加文档
POST /索引库名/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

示例

POST /heima/_doc/1
{
    "info": "黑马程序员Java讲师",
    "email": "zy@itcast.cn",
    "name": {
        "firstName": "云",
        "lastName": "赵"
    }
}
查询文档
GET /{索引库名称}/_doc/{id}
删除文档
DELETE /{索引库名}/_doc/{id}
修改文档
全量修改

全量修改是覆盖原来的文档，其本质是：

  • 根据指定的id删除文档
  • 新增一个相同id的文档

注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了。

PUT /{索引库名}/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

示例

PUT /heima/_doc/1
{
    "info": "黑马程序员高级Java讲师",
    "email": "zy@itcast.cn",
    "name": {
        "firstName": "云",
        "lastName": "赵"
    }
}
增量修改

增量修改是只修改指定id匹配的文档中的部分字段。

POST /{索引库名}/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}

示例

POST /heima/_update/1
{
  "doc": {
    "email": "ZhaoYun@itcast.cn"
  }
}
总结

  • 创建文档：POST /{索引库名}/_doc/文档id { json文档 }

  • 查询文档：GET /{索引库名}/_doc/文档id

  • 删除文档：DELETE /{索引库名}/_doc/文档id

  • 修改文档：

    • 全量修改：PUT /{索引库名}/_doc/文档id { json文档 }
    • 增量修改：POST /{索引库名}/_update/文档id { “doc”: {字段}}

3.RestClient

3.0.导入Demo

3.0.1.导入数据

首先导入课前资料提供的数据库数据：

在这里插入图片描述

数据结构如下：

CREATE TABLE `tb_hotel` (
  `id` bigint(20) NOT NULL COMMENT '酒店id',
  `name` varchar(255) NOT NULL COMMENT '酒店名称；例：7天酒店',
  `address` varchar(255) NOT NULL COMMENT '酒店地址；例：航头路',
  `price` int(10) NOT NULL COMMENT '酒店价格；例：329',
  `score` int(2) NOT NULL COMMENT '酒店评分；例：45，就是4.5分',
  `brand` varchar(32) NOT NULL COMMENT '酒店品牌；例：如家',
  `city` varchar(32) NOT NULL COMMENT '所在城市；例：上海',
  `star_name` varchar(16) DEFAULT NULL COMMENT '酒店星级，从低到高分别是：1星到5星，1钻到5钻',
  `business` varchar(255) DEFAULT NULL COMMENT '商圈；例：虹桥',
  `latitude` varchar(32) NOT NULL COMMENT '纬度；例：31.2497',
  `longitude` varchar(32) NOT NULL COMMENT '经度；例：120.3925',
  `pic` varchar(255) DEFAULT NULL COMMENT '酒店图片；例:/img/1.jpg',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
3.0.2.导入项目

然后导入课前资料提供的项目:

在这里插入图片描述

项目结构如图：

在这里插入图片描述

3.0.3.mapping映射分析

mapping要考虑的问题：

  • 字段名
  • 字段数据类型
  • 是否参与搜索
  • 是否需要分词
  • 如果分词，分词器是什么？

其中

  • 字段名和数据类型根据表结构就能得出

  • 而是否参与搜索和是否分词是业务强相关的，要根据具体需求具体分析得出

    例如，分析下图的tb_hotel表的数据结构

在这里插入图片描述

id 比较特殊，在es中写入的是字符串类型，并且id本身应该是不可分割的

name 酒店名称，字符串类型，应该是可分词，使用ik_max_word分词器

address 酒店地址，字符串类型；不参与搜索，精确值，index为false，不创建索引；

price 酒店价格，整数类型；参与搜索、排序、过滤等操作，index为默认的true，创建索引；

score 酒店评分，整数类型；参与搜索、排序、过滤等操作，index为默认的true，创建索引；

brand 酒店品牌，字符串类型；精确值；参与搜索，index为默认的true，创建索引；

city 酒店城市，字符串类型；精确值；参与搜索，index为默认的true，创建索引；

star_name 酒店星级，字符串类型；精确值；参与搜索，index为默认的true，创建索引；

business 商圈,字符串类型；精确值；参与搜索，index为默认的true，创建索引；

location 维度，经度 地理坐标类型；精确值；参与搜索，index为默认的true，创建索引；

pic 图片路径，字符串类型；不参与搜索，精确值，index为false，不创建索引；

经过分析，得出mappings

PUT /hotel
{
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "ik_max_word",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword",
        "copy_to": "all"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

几个特殊字段说明：

  • location：地理坐标，里面包含精度、纬度
  • all：一个组合字段，其目的是将多字段的值 利用copy_to合并，提供给用户进行多字段搜索

地理坐标说明：

在这里插入图片描述

copy_to说明：
在这里插入图片描述

3.0.4.初始化RestClient

在elasticsearch提供的API中，与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接。

分为三步：

1）引入es的RestHighLevelClient依赖：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>

2）因为SpringBoot默认的ES版本是7.6.2，所以我们需要覆盖默认的ES版本：

<properties>
    <java.version>1.8</java.version>
    <elasticsearch.version>7.12.1</elasticsearch.version>
</properties>

3）初始化RestHighLevelClient：

初始化的代码如下：

如果要搭建集群，可以通过HttpHost.create()添加多个IP端口

RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
        HttpHost.create("http://192.168.150.101:9200"),
    	HttpHost.create("http://192.168.150.101:9201"),
    	HttpHost.create("http://192.168.150.101:9202")
));

这里为了单元测试方便，我们创建一个测试类HotelIndexTest，然后将初始化的代码编写在@BeforeEach方法中：

package cn.itcast.hotel;

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;

import java.io.IOException;

public class HotelIndexTest {
    private RestHighLevelClient client;

    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.150.101:9200")
        ));
    }

    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }
}

3.1.索引库操作

3.1.1.创建索引库

创建索引库的API如下：

在这里插入图片描述

代码分为三步：

  • 1）创建Request对象。因为是创建索引库的操作，因此Request是CreateIndexRequest。
  • 2）添加请求参数，其实就是DSL的JSON参数部分。因为json字符串很长，这里是定义了静态字符串常量MAPPING_TEMPLATE，让代码看起来更加优雅。
  • 3）发送请求，client.indices()方法的返回值是IndicesClient类型，封装了所有与索引库操作有关的方法。
完整示例

在hotel-demo的cn.itcast.hotel.constants包下，创建一个类，定义mapping映射的JSON字符串常量：

package cn.itcast.hotel.constants;

public class HotelConstants {
    public static final String MAPPING_TEMPLATE = "{\n" +
            "  \"mappings\": {\n" +
            "    \"properties\": {\n" +
            "      \"id\": {\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"name\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"address\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"price\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"score\":{\n" +
            "        \"type\": \"integer\"\n" +
            "      },\n" +
            "      \"brand\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"city\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"copy_to\": \"all\"\n" +
            "      },\n" +
            "      \"starName\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"business\":{\n" +
            "        \"type\": \"keyword\"\n" +
            "      },\n" +
            "      \"location\":{\n" +
            "        \"type\": \"geo_point\"\n" +
            "      },\n" +
            "      \"pic\":{\n" +
            "        \"type\": \"keyword\",\n" +
            "        \"index\": false\n" +
            "      },\n" +
            "      \"all\":{\n" +
            "        \"type\": \"text\",\n" +
            "        \"analyzer\": \"ik_max_word\"\n" +
            "      }\n" +
            "    }\n" +
            "  }\n" +
            "}";
}

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现创建索引：

@Test
void createHotelIndex() throws IOException {
    // 1.创建Request对象
    CreateIndexRequest request = new CreateIndexRequest("hotel");
    // 2.准备请求的参数：DSL语句
    request.source(MAPPING_TEMPLATE, XContentType.JSON);
    // 3.发送请求
    client.indices().create(request, RequestOptions.DEFAULT);
}
3.1.2.删除索引库

删除索引库的DSL语句非常简单：

DELETE /hotel

与创建索引库相比：

  • 请求方式从PUT变为DELTE
  • 请求路径不变
  • 无请求参数

所以代码的差异，注意体现在Request对象上。依然是三步走：

  • 1）创建Request对象。这次是DeleteIndexRequest对象
  • 2）准备参数。这里是无参
  • 3）发送请求。改用delete方法

在hotel-demo中的HotelIndexTest测试类中，编写单元测试，实现删除索引：

@Test
void testDeleteHotelIndex() throws IOException {
    // 1.创建Request对象
    DeleteIndexRequest request = new DeleteIndexRequest("hotel");
    // 2.发送请求
    client.indices().delete(request, RequestOptions.DEFAULT);
}
3.1.3.判断索引库是否存在

判断索引库是否存在，本质就是查询，对应的DSL是：

GET /hotel

因此与删除的Java代码流程是类似的。依然是三步走：

  • 1）创建Request对象。这次是GetIndexRequest对象
  • 2）准备参数。这里是无参
  • 3）发送请求。改用exists方法
@Test
void testExistsHotelIndex() throws IOException {
    // 1.创建Request对象
    GetIndexRequest request = new GetIndexRequest("hotel");
    // 2.发送请求
    boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
    // 3.输出
    System.err.println(exists ? "索引库已经存在！" : "索引库不存在！");
}
3.1.4.总结

JavaRestClient操作elasticsearch的流程基本类似。核心是client.indices()方法来获取索引库的操作对象。

索引库操作的基本步骤：

  • 初始化RestHighLevelClient
  • 创建XxxIndexRequest。XXX是Create、Get、Delete
  • 准备DSL（ Create时需要，其它是无参）
  • 发送请求。调用RestHighLevelClient#indices().xxx()方法，xxx是create、exists、delete

3.2文档操作

3.2.1.新增文档

我们要将数据库的酒店数据查询出来，写入elasticsearch中。

准备工作

索引库实体类

数据库查询后的结果是一个Hotel类型的对象。结构如下：

为了与索引库操作分离，我们再次参加一个测试类，做两件事情：

  • 初始化RestHighLevelClient
  • 我们的酒店数据在数据库，需要利用IHotelService去查询，所以注入这个接口
package cn.itcast.hotel;

import cn.itcast.hotel.pojo.Hotel;
import cn.itcast.hotel.service.IHotelService;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;
import java.util.List;

@SpringBootTest
public class HotelDocumentTest {
    @Autowired
    private IHotelService hotelService;

    private RestHighLevelClient client;

    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.150.101:9200")
        ));
    }

    @AfterEach
    void tearDown() throws IOException {
        this.client.close();
    }
}
语法说明

新增文档的DSL语句如下：

POST /{索引库名}/_doc/1
{
    "name": "Jack",
    "age": 21
}

对应的java代码如图：

在这里插入图片描述

可以看到与创建索引库类似，同样是三步走：

  • 1）创建Request对象
  • 2）准备请求参数，也就是DSL中的JSON文档
  • 3）发送请求

变化的地方在于，这里直接使用client.xxx()的API，不再需要client.indices()了。

完整代码

我们导入酒店数据，基本流程一致，但是需要考虑几点变化：

  • 酒店数据来自于数据库，我们需要先查询出来，得到hotel对象
  • hotel对象需要转为HotelDoc对象
  • HotelDoc需要序列化为json格式

因此，代码整体步骤如下：

  • 1）根据id查询酒店数据Hotel
  • 2）将Hotel封装为HotelDoc
  • 3）将HotelDoc序列化为JSON
  • 4）创建IndexRequest，指定索引库名和id
  • 5）准备请求参数，也就是JSON文档
  • 6）发送请求

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testAddDocument() throws IOException {
    // 1.根据id查询酒店数据
    Hotel hotel = hotelService.getById(61083L);
    // 2.转换为文档类型
    HotelDoc hotelDoc = new HotelDoc(hotel);
    // 3.将HotelDoc转json
    String json = JSON.toJSONString(hotelDoc);

    // 1.准备Request对象
    IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
    // 2.准备Json文档
    request.source(json, XContentType.JSON);
    // 3.发送请求
    client.index(request, RequestOptions.DEFAULT);
}
3.2.2.查询文档
语法说明

查询的DSL语句如下：

GET /hotel/_doc/{id}

非常简单，因此代码大概分两步：

  • 准备Request对象
  • 发送请求

不过查询的目的是得到结果，解析为HotelDoc，因此难点是结果的解析。完整代码如下：
在这里插入图片描述

可以看到，结果是一个JSON，其中文档放在一个_source属性中，因此解析就是拿到_source，反序列化为Java对象即可。

与之前类似，也是三步走：

  • 1）准备Request对象。这次是查询，所以是GetRequest
  • 2）发送请求，得到结果。因为是查询，这里调用client.get()方法
  • 3）解析结果，就是对JSON做反序列化
完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testGetDocumentById() throws IOException {
    // 1.准备Request
    GetRequest request = new GetRequest("hotel", "61082");
    // 2.发送请求，得到响应
    GetResponse response = client.get(request, RequestOptions.DEFAULT);
    // 3.解析响应结果
    String json = response.getSourceAsString();

    HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
    System.out.println(hotelDoc);
}
3.2.3.删除文档

删除的DSL为是这样的：

DELETE /hotel/_doc/{id}

与查询相比，仅仅是请求方式从DELETE变成GET，可以想象Java代码应该依然是三步走：

  • 1）准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id
  • 2）准备参数，无参
  • 3）发送请求。因为是删除，所以是client.delete()方法

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testDeleteDocument() throws IOException {
    // 1.准备Request
    DeleteRequest request = new DeleteRequest("hotel", "61083");
    // 2.发送请求
    client.delete(request, RequestOptions.DEFAULT);
}
3.2.4.修改文档
语法说明

修改我们讲过两种方式：

  • 全量修改：本质是先根据id删除，再新增
  • 增量修改：修改文档中的指定字段值

在RestClient的API中，全量修改与新增的API完全一致，判断依据是ID：

  • 如果新增时，ID已经存在，则修改
  • 如果新增时，ID不存在，则新增

这里不再赘述，我们主要关注增量修改。

代码示例如图：

在这里插入图片描述

与之前类似，也是三步走：

  • 1）准备Request对象。这次是修改，所以是UpdateRequest
  • 2）准备参数。也就是JSON文档，里面包含要修改的字段
  • 3）更新文档。这里调用client.update()方法
完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testUpdateDocument() throws IOException {
    // 1.准备Request
    UpdateRequest request = new UpdateRequest("hotel", "61083");
    // 2.准备请求参数
    request.doc(
        "price", "952",
        "starName", "四钻"
    );
    // 3.发送请求
    client.update(request, RequestOptions.DEFAULT);
}
3.2.5批量导入文档

案例需求：利用BulkRequest批量将数据库数据导入到索引库中。

步骤如下：

  • 利用mybatis-plus查询酒店数据

  • 将查询到的酒店数据（Hotel）转换为文档类型数据（HotelDoc）

  • 利用JavaRestClient中的BulkRequest批处理，实现批量新增文档

语法说明

批量处理BulkRequest，其本质就是将多个普通的CRUD请求组合在一起发送。

其中提供了一个add方法，用来添加其他请求：
在这里插入图片描述

可以看到，能添加的请求包括：

  • IndexRequest，也就是新增
  • UpdateRequest，也就是修改
  • DeleteRequest，也就是删除

因此Bulk中添加了多个IndexRequest，就是批量新增功能了。示例：
在这里插入图片描述

其实还是三步走：

  • 1）创建Request对象。这里是BulkRequest
  • 2）准备参数。批处理的参数，就是其它Request对象，这里就是多个IndexRequest
  • 3）发起请求。这里是批处理，调用的方法为client.bulk()方法

我们在导入酒店数据时，将上述代码改造成for循环处理即可。

完整代码

在hotel-demo的HotelDocumentTest测试类中，编写单元测试：

@Test
void testBulkRequest() throws IOException {
    // 批量查询酒店数据
    List<Hotel> hotels = hotelService.list();

    // 1.创建Request
    BulkRequest request = new BulkRequest();
    // 2.准备参数，添加多个新增的Request
    for (Hotel hotel : hotels) {
        // 2.1.转换为文档类型HotelDoc
        HotelDoc hotelDoc = new HotelDoc(hotel);
        // 2.2.创建新增文档的Request对象
        request.add(new IndexRequest("hotel")
                    .id(hotelDoc.getId().toString())
                    .source(JSON.toJSONString(hotelDoc), XContentType.JSON));
    }
    // 3.发送请求
    client.bulk(request, RequestOptions.DEFAULT);
}
3.2.6.小结

文档操作的基本步骤：

  • 初始化RestHighLevelClient
  • 创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
  • 准备参数（Index、Update、Bulk时需要）
  • 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete、bulk
  • 解析结果（Get时需要）

4.DSL Query

查询语法

见文档

5.数据聚合

数据聚合能干什么

详情见官方文档-数据聚合

聚合将您的数据汇总为指标、统计数据或其他分析。 聚合可帮助您回答以下问题：

  • 我网站的平均加载时间是多少？
  • 根据交易量，谁是我最有价值的客户？
  • 在我的网络上什么会被视为大文件？
  • 每个产品类别中有多少产品？

常见有三类聚合

  • 桶（Bucket）聚合：用来对文档做分组

    • TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组
    • Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组

  • 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等

    • Avg：求平均值
    • Max：求最大值
    • Min：求最小值
    • Stats：同时求max、min、avg、sum等

  • **管道（pipeline）**聚合：其它聚合的结果为基础做聚合

DSL实现聚合

见文档

6.自动补全

什么是自动补全？

在这里插入图片描述

安装拼音分词器

要实现根据字母做补全，就必须对文档按照拼音分词。在GitHub上恰好有elasticsearch的拼音分词插件。地址：https://github.com/medcl/elasticsearch-analysis-pinyin

安装方式与IK分词器一样，分三步：

​ ①解压

​ ②上传到虚拟机中，elasticsearch的plugin目录

​ ③重启elasticsearch

​ ④测试

如何知道elasticsearch的plugin目录？

docker volume inspect es-plugins

重启es

docker restart es

在Console中测试：

POST /_analyze
{
  "text": "如家酒店还不错",
  "analyzer": "pinyin"
}

其他部分见文档

自定义分词器

DSL实现自动补全查询

RestAPI实现自动补全

7.数据同步

定义

即数据库数据与es索引库数据的同步

当mysql数据库的数据发生改变时，elasticseatch也必须跟着改变，这就是数据同步

问题分析

同步调用

在这里插入图片描述

缺点：耦合度太高、稳定性低、性能差

异步通知

引入消息中间件

在这里插入图片描述

优点：耦合度降低、性能提高

缺点：依赖MQ服务器的可靠性、复杂度提高

监听binlog

在这里插入图片描述

binlog是MySQL的机制，以事件形式记录了对MySQL数据库执行更改的所有操作。

好文推荐：MySQL之binlog

引入canal中间件监听mysql的binlog

优点：耦合更低

缺点：加重了MySQL服务器的负担

数据同步的其他部分见文档

8.ES集群

es集群结构

在这里插入图片描述

注意：同一结点对分片数据的备份不同

其他见文档

Fantasy`
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch分布式架构笔记
moonshine
02-24 168
Elasticsearch分布式架构 Elasticsearch对复杂分布式机制的透明隐藏特性 Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，隐藏了复杂的分布式机制。 （1）分片机制 （2）cluster discovery（集群发现机制） （3）shard负载均衡（es会自动对shard进行均匀分配，以保持每个节点的均衡的读写负载请求） （4）shard副本，请求路由，集群扩容，shard重分配 Elasticsearch的垂直扩容与水平扩容 （1）垂直扩容：采购更强大的服务器
Elasticsearch-分布式搜索
qq_38682924的博客
09-17 637
笔记：Elasticsearch-分布式搜索
ElasticSearch分布式搜索引擎安装教程
热门推荐
小Du猿的博客
03-10 18万+
ElasticSearch分布式搜索引擎安装教程 ​ 专注小Du博客，每天分享干货知识。CSDN博客地址： 在正式开始安装教程之前，小Du先带大家来了解什么是ElasticSearch。 一.Hr：ElasticSearch是什么？ ​ 答：Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级
搜索引擎ElasticSearch分布式搜索和分析引擎学习，SpringBoot整合ES个人心得
HakerDONG的博客
11-18 2340
ElasticSearch搜索和分析引擎学习笔记
Elasticsearch分布式检索原理笔记
学无止境
01-29 599
目录 ES检索的两阶段过程 查询阶段 取回阶段 深分页问题 scroll search_after ES检索的两阶段过程 文档的唯一性可以由 _index（索引名称）和_id（文档id）的组合来确定，这表示我们可以确切知道集群中哪个分片含有此文档。 而当我们需要通过id之外的条件进行搜索时，就需要一种更加复杂的执行模型，因为我们不知道查询会命中哪些文档，这些文档有可能在集群的任何分片上。一个搜索请求必须询问我们关注的索引的所有分片的某个副本来确定它们是否含有任何匹配的文档。 但是找到..
Elasticsearch分布式引擎7.x,2021黑马详细课程笔记
sakura的博客
09-03 1585
2021最新SpringCloud+ElasticSearch分布式引擎，文档以及数据库的CRUD操作的详细笔记，源自B站黑马的ElasticSearch笔记记录
Elasticsearch-分布式搜索服务指南
qq_51874588的博客
11-18 1096
Elasticsearch是目前海量数据搜索服务的主流解决方案，Elasticsearch有着其优秀的特性使其在目前搜索服务的市场份额越来越高，本文是本人在学习Elasticsearch时做的笔记，仅供参考
ElasticSearch分布式搜索引擎
Jin的随手笔记
03-25 1442
Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elasticsearch 中。Kibana 使您能够以交互方式探索、可视化和分享对数据的见解，并管理和监控堆栈。
elasticsearch 分布式阅读笔记(二)
02-24 85
说明 扩展分为 纵向扩展:购买更好的服务器 横向扩展:增加服务器（elasticsearch更适合横向扩展) elasticsearch可以用于构建高可用和可扩展的系统,elasticsearch天生就是分布式的 它知道如何管理各个节点 我们程序并不需要关心 elasticsearch默认就是一个集群，比如前面的例子的集群看起来如下图 主节点只用于临时的管理节点的 ...
ElasticSearch7学习笔记之分布式
四国棋客
02-05 574
文章目录背景分布式模型分布式架构结点CoordinateNodeDataNodeMasterNodeMasterEligibleNodes选主流程集群状态ClusterState脑裂问题解决方法分片及其生命周期倒排索引的不可变性：LuceneIndexRefreshTransactionLogFlushMerge分片与集群的故障转移PrimaryShard(主分片)——提升系统存储容量ReplicaShard(副本分片)——提高数据可用性分片数的设定故障转移集群健康状态文档的分布式存储 背景 本文记录分布式
ElasticSearch分布式搜索引擎-其他
06-28
Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎，能够解决越来越多的用例。作为Elastic Stack的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。Elasticsearch是一个实时的分布式...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个开源的高拓展的分布式全文搜索引擎它可以近乎实时的存储、检索数据；本身拓展性很好，可以拓展到上百台服务器，处理PB级别的数据。es也是用Java开发并使用...
分布式搜索引擎-学习笔记-3
01-31
分布式搜索引擎-学习笔记-3
ElasticSearch 学习笔记
01-20
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
谷粒商城学习完成版pdf笔记，微服务分布式电商项目
03-23
谷粒商城学习完成版pdf笔记，微服务分布式电商项目。主要包含SpringBoot，微服务介绍，项目搭建，vue讲解，webpack，elasticsearch，RabbitMQ，用户注册，授权，支付等操作具体细节见文档。
Elasticsearch 8.1官网文档梳理 - 十三、Search your data（数据搜索）
Wolf_xujie的博客
05-26 593
代表处理该请求所耗费的毫秒数。从节点收到查询后开始，到返回客户端之前，包括在线程池中等待、在集群中执行分布式搜索和收集、排序所有结果所花费的时间。这里有两个比较有用的参数需要注意一下。这强调一下 Response 中的。
Git版本控制
最新发布
Zorazjj的博客
05-28 925
Git是免费的、开源的，最初Git是为辅助Linux内核开发的，来替代BitKeeper！
CentOS7 部署单机版 ElasticSearch + Logstash + Kibana
weixin_44295677的博客
05-27 414
通过logstash收集信息，发送给elasticsearch处理，通过kibana可以查看到logstash收集到的信息。并配置HTTPS，通过更安全的方式链接。
如何使用 Connector API 将数据提取到 Elasticsearch Serverless 中
Elastic 中国社区官方博客
05-28 1107
Elasticsearch 支持一系列摄取方法。其中之一是 Elastic Connectors，它将 SQL 数据库或 SharePoint Online 等外部数据源与 Elasticsearch 索引同步。连接器对于在现有数据之上构建强大的搜索体验特别有用。例如，如果你管理一个电子商务网站，并希望通过跨产品目录的语义搜索来增强客户体验，Elastic Connectors 可以让这一切变得简单。如果你的产品目录存储在 Elastic 支持的。
elasticsearch分布式搜索和分析引擎
09-20
Elasticsearch是一个基于开源的分布式搜索和分析引擎，主要用于处理大规模数据的实时搜索、分析和存储。它利用了分布式架构的优势，可以快速地搜索和处理海量数据。 Elasticsearch具有高度的可伸缩性，可以水平扩展...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fantasy`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值