SpringCloud（10）— Elasticsearch集群

SpringCloud（10）— Elasticsearch集群

一 搭建ES集群

单机的 Elasticsearch 做数据存储，必然面临两个问题：海量数据存储问题，单点故障等

• 海量数据存储问题：将索引库从逻辑上拆分为 N 个分片（shard），存储到多个节点
• 单点故障问题：将分片数据在不同节点上备份（replica）

es 集群中的数据备份使用了错位备份的原理，即当前节点的数据将会备份在其他节点上。这样做保证了当某一节点宕机后，数据仍然完整

1.创建 docker-compose 文件

执行 docker-compose 文件之前，需要修改部分文件权限

# 1.进入文件进行编辑
vim /etc/sysctl.conf
# 2.添加如下内容
vm.max_map_count=262144
# 3.然后执行，让其生效
sysctl -p

创建 docker-compose 文件，复制一下内容到服务器。运行即可。

version: '3.4'

services:
  es01:
    image: elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9200
    networks:
      - elastic
  es03:
    image: elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data03:/usr/share/elasticsearch/data
    ports:
      - 9202:9200
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

2.运行 docker-compose 文件

运行完成后，将创建 Elasticsearch 集群，其中有3台 Elasticsearch 服务器

docker-compose up -d

二 集群状态监控

1.使用 cerebro

这里不再使用 kibana 来监控集群状态（kibana 的配置较为复杂），而是通过 cerebro 来监控。

cerebro 的官方文档：GitHub - lmenezes/cerebro

Docker Hub 地址： https://hub.docker.com/r/lmenezes/cerebro/

使用 docker 部署 cerebro：

# 1.拉取镜像
docker pull lmenezes/cerebro
# 2.运行镜像
docker run --name renebro -p 9000:9000 -d lmenezes/cerebro
# 3.浏览器访问 9000 端口即可

2.访问 cerebro

在主界面输入任一ES集群的地址，即可进入管理界面，

例如：http://192.168.119.101:9200

集群列表中的 实心星星 表示为主节点，其余为 候选节点

3.设置分片

可在创建索引库时设置分片信息

PUT /test
{
  "settings": {
    "number_of_shards": 3,     //分片数量
    "number_of_replicas": 1    //副本树量
  },
  "mappings": {
    "properties": {
      "firstName": {
        "type": "keyword"
      },
      "lastName": {
        "type": "keyword"
      }
    }
  }
}

三 节点角色划分和脑裂

1.节点角色划分

elasticsearch中集群节点的不同的职责划分

elasticsearch中的每一个节点都有着属于自己的不同职责，因此建议集群部署时，每个节点都有独立的角色

2.脑裂问题

默认情况下，每个节点都是master-eligible,因此一旦master节点宕机，其他候选节点会选举一个新的节点成为主节点。

当主节点与其他节点网络故障时，可能发生脑裂问题。

脑裂问题：一个集群中因为某种原因出现了多个主节点，导致数据不同步

为了避免脑裂，需要要求 ”选票“ 数量超过 ( eligible +1 ) / 2 才能当选。因此 eligible 最好为奇数。

对应的配置项为 discovery.zen.minmun_master_nodes。在 es 7.0 以后已经成为了默认配置，因此一般不会发生脑裂。

四 ES集群的分布式存储

1.查看数据位置

新增文档时，应该保存到不同分片，保证数据均衡。

GET /test/_search
{
    "query":{
        "match_all":{}
    },
    "explain":true
}

explain：通过 explain 命令，可以看到插入的数据具体在集群上的哪一个分片中。

2.分布式存储算法

elasticsearch 通过 hash 算法来计算文档应该存储到哪个分片中

说明：

• _routing：默认是文档id
• number_of_shards：表示分片数量
• 算法与分片数量有关，因此索引库一旦创建，分片数量不能修改

3.分布式新增流程

4.分布式查询流程

五 故障转移

集群中的 master 节点会监控集群中的节点状态，如果发现宕机，会立即将宕机节点的分片数据迁移到其他节点，确保数据安全。这个机制称之为故障转移

尝试停掉 es01服务，此时 cerebro 给出警告提示：

稍微等待一会儿，es 集群将会自己完成迁移，迁移完成后，索引库状况如下：

这样便保证了集群中数据的安全性

故障转移保证了 es 集群可以任意伸缩且不出现任何故障

Elasticsearch 知识点完结。后续想起什么了再补充