elasticsearch集群

最新推荐文章于 2023-11-05 22:13:08 发布
最新推荐文章于 2023-11-05 22:13:08 发布
阅读量249 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fen_dou_shao_nian/article/details/119629704
版权

一、集群原理

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html https://www.elastic.co/guide/cn/elasticsearch/guide/current/distributed-cluster.html
elasticsearch 是天生支持集群的，他不需要依赖其他的服务发现和注册的组件，如 zookeeper 这些，因为他内置了一个名字叫 ZenDiscovery 的模块，是 elasticsearch 自己实现的一套用 于节点发现和选主等功能的组件，所以 elasticsearch 做起集群来非常简单，不需要太多额外 的配置和安装额外的第三方组件。

1.1 单节点

在这里插入图片描述
在这里插入图片描述

1.2 集群健康

Elasticsearch 的集群监控信息中包含了许多的统计数据，其中最为重要的一项就是 集群健 康 ， 它在 status 字段中展示为 green 、 yellow 或者 red 。

GET /_cluster/health

status 字段指示着当前集群在总体上是否工作正常。它的三种颜色含义如下：
green：所有的主分片和副本分片都正常运行。
yellow：所有的主分片都正常运行，但不是所有的副本分片都正常运行。
red：有主分片没能正常运行

1.3 分片

在这里插入图片描述
在这里插入图片描述

1.4 新增节点

当你在同一台机器上启动了第二个节点时，只要它和第一个节点有同样的 cluster.name 配 置，它就会自动发现集群并加入到其中。 但是在不同机器上启动节点的时候，为了加入到 同一集群，你需要配置一个可连接到的单播主机列表。 详细信息请查看最好使用单播代替 组播
在这里插入图片描述

此时，cluster-health 现在展示的状态为 green ，这表示所有 6 个分片（包括 3 个主分片和 3 个副本分片）都在正常运行。我们的集群现在不仅仅是正常运行的，并且还处于 始终可 用 的状态。

1.5 水平扩容-启动第三个节点

在这里插入图片描述
Node 1 和 Node 2 上各有一个分片被迁移到了新的 Node 3 节点，现在每个节点上都拥 有 2 个分片，而不是之前的 3 个。 这表示每个节点的硬件资源（CPU, RAM, I/O）将被更少 的分片所共享，每个分片的性能将会得到提升。
在运行中的集群上是可以动态调整副本分片数目的，我们可以按需伸缩集群。让我们把副本 数从默认的 1 增加到 2.

PUT /blogs/_settings 
{ "number_of_replicas" : 2
}

blogs 索引现在拥有 9 个分片：3 个主分片和 6 个副本分片。 这意味着我们可以将集群扩 容到 9 个节点，每个节点上一个分片。相比原来 3 个节点时，集群搜索性能可以提升 3 倍。
在这里插入图片描述

1.6 应对故障

在这里插入图片描述
在这里插入图片描述

1.7 问题与解决

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、集群结构

以三台物理机为例。在这三台物理机上，搭建了 6 个 ES 的节点，三个 data 节点，三个 master 节点（每台物理机分别起了一个 data 和一个 master），3 个 master 节点，目的是达到（n/2） +1 等于 2 的要求，这样挂掉一台 master 后（不考虑 data），n 等于 2，满足参数，其他两
个 master 节点都认为 master 挂掉之后开始重新选举，

master 节点上

 node.master = true 
 node.data = false 
 discovery.zen.minimum_master_nodes = 2

data 节点上

node.master = false 
node.data = true

在这里插入图片描述

三、★集群搭建

总体流程

--elasticsearch集群----------------------------------------------------------start-----
## 我们只是测试，所以临时修改。
sysctl -w vm.max_map_count=262144 
## 永久修改使用下面   #防止 JVM 报错 
echo vm.max_map_count=262144 >> /etc/sysctl.conf sysctl -p
## 创建一个新的 bridge 网络 以后使用--network=mynet --ip 172.18.12.x 指定 ip
docker network create --driver bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1 mynet
## 查看所有网络
docker network ls
## 查看mynet网络信息 
docker network inspect mynet


##创建主节点----------------------------
for port in $(seq 1 3); \
do \
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF >/mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es 
node.name: es-master-${port} 
node.master: true #该节点有机会成为 master 节点
node.data: false #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0 
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s 
discovery.seed_hosts: ["172.18.12.21:9301", "172.18.12.22:9302", "172.18.12.23:9303"] 
cluster.initial_master_nodes: ["172.18.12.21"]
EOF
docker run --name elasticsearch-node-${port} \
-p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done
-------------------------

## 删除所有部署的elasticsearch
docker stop $(docker ps-a |grep elasticsearch-node-* | awk '{print $1}')
docker rm $(docker ps-a |grep elasticsearch-node-* | awk '{print $1}')

----------------------------
##创建子节点----------------------------
for port in $(seq 4 6); \
do \
mkdir -p /mydata/elasticsearch/node-${port}/config
mkdir -p /mydata/elasticsearch/node-${port}/data
chmod -R 777 /mydata/elasticsearch/node-${port}
cat << EOF >/mydata/elasticsearch/node-${port}/config/elasticsearch.yml
cluster.name: my-es
node.name: es-node-${port} 
node.master: false #该节点有机会成为 master 节点
node.data: true #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0 
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s
discovery.seed_hosts: ["172.18.12.21:9301", "172.18.12.22:9302", "172.18.12.23:9303"] 
cluster.initial_master_nodes: ["172.18.12.21"] 
EOF
docker run --name elasticsearch-node-${port} \
-p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/node-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/node-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/node-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done


-------------------------

第一步：修改jvm的线程数据防止报错

## 我们只是测试，所以临时修改。
sysctl -w vm.max_map_count=262144 
## 永久修改使用下面 #防止 JVM 报错 
echo vm.max_map_count=262144 >> /etc/sysctl.conf sysctl -p

第二步：准备 docker 网络
Docker 创建容器时默认采用 bridge 网络，自行分配 ip，不允许自己指定。
在实际部署中，我们需要指定容器 ip，不允许其自行分配 ip，尤其是搭建集群时，固定 ip 是必须的。 我们可以创建自己的 bridge 网络 ： mynet，创建容器的时候指定网络为 mynet 并指定 ip 即可。 查看网络模式 docker network ls；

## 创建一个新的 bridge 网络 以后使用--network=mynet --ip 172.18.12.x 指定 ip
docker network create --driver bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1 mynet
## 查看网络信息 
docker network inspect mynet
## 查看所有网络
docker network ls

在这里插入图片描述

第三步：Master 节点创建

##创建主节点----------------------------
for port in $(seq 1 3); \
do \
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat << EOF >/mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name: my-es 
node.name: es-master-${port} 
node.master: true #该节点有机会成为 master 节点
node.data: false #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0 
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s 
discovery.seed_hosts: ["172.18.12.21:9301", "172.18.12.22:9302", "172.18.12.23:9303"] 
cluster.initial_master_nodes: ["172.18.12.21"]
EOF
docker run --name elasticsearch-node-${port} \
-p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done
-------------------------

第四步：Data-Node 创建

##创建子节点----------------------------
for port in $(seq 4 6); \
do \
mkdir -p /mydata/elasticsearch/node-${port}/config
mkdir -p /mydata/elasticsearch/node-${port}/data
chmod -R 777 /mydata/elasticsearch/node-${port}
cat << EOF >/mydata/elasticsearch/node-${port}/config/elasticsearch.yml
cluster.name: my-es
node.name: es-node-${port} 
node.master: false #该节点有机会成为 master 节点
node.data: true #该节点可以存储数据
network.host: 0.0.0.0
http.host: 0.0.0.0 
http.port: 920${port}
transport.tcp.port: 930${port}
discovery.zen.ping_timeout: 10s
discovery.seed_hosts: ["172.18.12.21:9301", "172.18.12.22:9302", "172.18.12.23:9303"] 
cluster.initial_master_nodes: ["172.18.12.21"] 
EOF
docker run --name elasticsearch-node-${port} \
-p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/node-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/node-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/node-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done


-------------------------

在这里插入图片描述
docker ps查看是不是启动正常，并且docker logs elasticsearch-node-1(2,3,4,5,6)一一查看日志有无报错

elasticsearch无法启动时查看日志
docker logs elasticsearch-node-1
正常的日志：
在这里插入图片描述

错误的日志：
下面这种情况时elasticsearch安装问题，并不是jdk没有装的问题。

error:
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
Invalid initial heap size: -Xms300m-Xmx300m
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
	at org.elasticsearch.tools.launchers.JvmErgonomics.flagsFinal(JvmErgonomics.java:111)
	at org.elasticsearch.tools.launchers.JvmErgonomics.finalJvmOptions(JvmErgonomics.java:79)
	at org.elasticsearch.tools.launchers.JvmErgonomics.choose(JvmErgonomics.java:57)
	at org.elasticsearch.tools.launchers.JvmOptionsParser.main(JvmOptionsParser.java:89)

第四步：测试
访问每个节点：92.168.3.124是我的虚拟机地址。
http://192.168.3.124:9201/_cat/nodes
http://192.168.3.124:9202/_cat/nodes
http://192.168.3.124:9203/_cat/nodes
http://192.168.3.124:9204/_cat/nodes
http://192.168.3.124:9205/_cat/nodes
http://192.168.3.124:9206/_cat/nodes
在这里插入图片描述
http://192.168.3.124:9201/_nodes/process?pretty 查看节点状况
http://192.168.3.124:9201/_cluster/stats?pretty 查看集群状态
http://192.168.3.124:9201/_cluster/health?pretty 查看集群健康状况
http://192.168.3.124:9202/_cat/nodes 查看各个节点信息
$curllocalhost:9200/_cat
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}

阿门之恋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
Elasticsearch集群
ww_kobe的博客
12-08 1239
ES集群原理&概念&搭建
ElasticSearch 集群
凉茶铺的博客
04-24 2325
介绍了ElasticSearch 集群
Elasticsearch 集群
Fisher3652的博客
03-06 2953
目录1. 物理设计1.1 节点和分片1.2 主分片和副本分片1.3 集群扩展1.4 分布式索引和搜索 1. 物理设计 1.1 节点和分片 Elasticsearch 创建索引时，默认情况下，每个索引由 5 个主要分片组成，而每份主要分片又有一个副本， 一共 10 份分片。副本分片对于可靠性和搜索性能很有益处。技术上而言，一份分片是一个目录中的文件，Lucene 用这些文件存储索引数据。分片也是 Elasticsearch 将数据从一个节点迁移到另一个节点的最小单位。 一个节点是一个 Elasticsear
ElasticSearch（七）：集群架构
Men-DD
07-27 3313
搭建三节点ES集群;安装Cerebro客户端;安装kibana ES安全认证;集群内部安全通信;开启并配置X-Pack的认证 生产环境常见集群部署方式;增加节点水平扩展场景;读写分离架构;异地多活架构;Hot & Warm 架构 ES跨集群搜索 分片的设计和管理;如何设计分片数;如何确定主分片数;如何确定副本分片数 ES底层读写工作原理;ES写入数据的过程;ES读取数据的过程;写数据底层原理 如何提升集群的读写性能;提升集群读取性能的方法;提升写入性能的方法......
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
Elasticsearch集群模式部署
06-30
学习总结资料
springboot整合ElasticSearch集群
03-29
springboot 2.0.2集成elasticsearch5.5.1，并使用集群模式，亲测可用！！！
elasticsearch-monitoring:使用Grafana仪表板监控Elasticsearch集群（通过Elasticsearch）
05-22
用Grafana进行Elasticsearch监控该存储库包含端到端全面监视Elasticsearch集群所需的一切。 基于在全球范围内调试和稳定许多Elasticsearch集群的经验，Elasticsearch Monitoring的制定和不断更新和改进。收集指标...
ElasticSearch集群架构原理
m0_60162373的博客
03-29 3668
match查询keyword字段：match将查询数据分词后的信息，需要和keyword字段完全匹配，这条记录才会被查到。 _seq_no:是跟着索引库走的， 如果操作一个文档，他的version和seq_no都会变化，如果操作另一个文档，则另个文档的seq_no会紧接着上一次的变化进行变化，递增。类似于数据库的id。 ...
【ES专题】ElasticSearch集群架构剖析
最新发布
qq_32681589的博客
11-05 3014
使用何种通信协议去同步数据，互相通信采用何种策略同步数据（异步还是同步）如何保证一致性，保证到什么程度（【最终一致性】 or【实时一致性 / 强一致性】）使用何种算法去选举主次节点（感觉这个比较随意，通常为了快速恢复服务，选举流程是怎么快怎么来，但是不能出现【脑裂问题】）
ElasticSearch入门教程--集群搭建和版本比较
宋先森的博客
07-11 1610
Elasticsearch 集群有一个唯一的名字，默认就是”elasticsearch”。，一个节点只能通过指定某个集群的名字，来加入这个集群。
ElasticSearch集群
qq_31745863的博客
02-14 1697
5. ElasticSearch集群 5.1 ElasticSearch集群原理 集群内的原理 | Elasticsearch: 权威指南 | Elastic elasticsearch 是天生支持集群的， 他不需要依赖其他的服务发现和注册的组件， 如 zookeeper这些， 因为他内置了一个名字叫 ZenDiscovery 的模块， 是 elasticsearch 自己实现的一套用于节点发现和选主等功能的组件， 所以 elasticsearch 做起集群来非常简单， 不需要太多额外的配置和安装额外的第三
ElasticSearch核心概念
Angus
05-31 429
这个是我看到的对一些概念介绍比较清楚。于是就剪切了下来。后边会持续加入自己的内容。由于别人的较多，所以就标位非原创了。 Near Realtime (NRT)近实时：数据提交索引后，立马就可以搜索到。注意是近实时，不是绝对的实时，比方说一秒以后可以被看到。 Cluster集群：一个集群由一个唯一的名字标识，默认为“elasticsearch”。集群名称非常重要，具体相同集群名的节点才会组成一个集群。集群名称可以在配置文件中指定。集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生..

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值