Docker Elasticsearch集群部署

最新推荐文章于 2024-09-18 19:27:31 发布
最新推荐文章于 2024-09-18 19:27:31 发布
阅读量2.5k 收藏 17
点赞数 3
文章标签： elasticsearch docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44917045/article/details/131151186
版权

Docker Elasticsearch集群部署

1 环境

（1）Centos7
（2）Docker 23.0.1
（3）Elasticsearch 7.16.3

2 服务器

名称ip地址内存
节点一192.16.109.11316G
节点二192.16.109.11416G
节点三192.16.109.11516G

3 部署

在三个服务器节点上执行如下操作：

准备映射目录
切换到/home目录中，创建elasticsearch目录，切换到elasticsearch目录中。

cd /home/
mkdir elasticsearch
cd elasticsearch

临时启动elasticsearch

docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.16.3

复制容器中配置目录到磁盘目录

cd /home/elasticsearch
docker cp elasticsearch:/usr/share/elasticsearch/config .
docker cp elasticsearch:/usr/share/elasticsearch/data .
docker cp elasticsearch:/usr/share/elasticsearch/plugins .

授予elasticsearch目录及子目录改文件及子文件所有权限

chmod -R 777 elasticsearch

移除临时启动elasticsearch容器

docker stop elasticsearch
docker rm elasticsearch

3.1 节点一

修改/home/elasticsearch/config/elasticsearch.yml配置文件

# 集群名称 所有节点名称一致
cluster.name: es-clusters
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es-node-1
# 当前该节点是不是有资格竞选主节点
node.master: true
# 当前该节点是否存储数据
node.data: true
# 设置为公开访问
network.host: 0.0.0.0
# 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.16.109.113
# 设置映射端口
http.port: 9200
# 内部节点之间沟通端口
transport.tcp.port: 9300

# 支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

# 配置集群的主机地址
discovery.seed_hosts: ["192.16.109.113","192.16.109.114","192.16.109.115"]
# 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es-node-1","es-node-2","es-node-3"]
# 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# 禁用交换内存，提升效率
bootstrap.memory_lock: false

正式运行elasticsearch

docker run --name=elasticsearch-node-1 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms4g -Xmx4g" \
-v /home/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /home/elasticsearch/data:/usr/share/elasticsearch/data \
-v /home/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.16.3

3.2 节点二

修改/home/elasticsearch/config/elasticsearch.yml配置文件

# 集群名称 所有节点名称一致
cluster.name: es-clusters
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es-node-2
# 当前该节点是不是有资格竞选主节点
node.master: true
# 当前该节点是否存储数据
node.data: true
# 设置为公开访问
network.host: 0.0.0.0
# 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.16.109.114
# 设置映射端口
http.port: 9200
# 内部节点之间沟通端口
transport.tcp.port: 9300

# 支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

# 配置集群的主机地址
discovery.seed_hosts: ["192.16.109.113","192.16.109.114","192.16.109.115"]
# 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es-node-1","es-node-2","es-node-3"]
# 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# 禁用交换内存，提升效率
bootstrap.memory_lock: false

正式运行elasticsearch

docker run --name=elasticsearch-node-2 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms4g -Xmx4g" \
-v /home/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /home/elasticsearch/data:/usr/share/elasticsearch/data \
-v /home/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.16.3

3.3 节点三

修改/home/elasticsearch/config/elasticsearch.yml配置文件

# 集群名称 所有节点名称一致
cluster.name: es-clusters
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es-node-3
# 当前该节点是不是有资格竞选主节点
node.master: true
# 当前该节点是否存储数据
node.data: true
# 设置为公开访问
network.host: 0.0.0.0
# 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.16.109.115
# 设置映射端口
http.port: 9200
# 内部节点之间沟通端口
transport.tcp.port: 9300

# 支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

# 配置集群的主机地址
discovery.seed_hosts: ["192.16.109.113","192.16.109.114","192.16.109.115"]
# 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es-node-1","es-node-2","es-node-3"]
# 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# 禁用交换内存，提升效率
bootstrap.memory_lock: false

正式运行elasticsearch

docker run --name=elasticsearch-node-3 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms4g -Xmx4g" \
-v /home/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /home/elasticsearch/data:/usr/share/elasticsearch/data \
-v /home/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.16.3

3.4 查看集群是否成功

在浏览器上输入http://任一节点ip:9200/_cat/nodes?pretty查看集群信息，出现如下信息就代表集群搭建成功了。

192.16.109.113 20 99 1 0.03 0.04 0.06 cdfhilmrstw * es-node-3
192.16.109.114 12 99 3 0.03 0.05 0.06 cdfhilmrstw - es-node-1
192.16.109.114 56 89 2 0.19 0.12 0.13 cdfhilmrstw - es-node-2

4 注意事项

4.1 运行elasticsearch启动参数

注意：我们启动参数设置的-e ES_JAVA_OPTS="-Xms4g -Xmx4g"，根据服务器内存实际情况调整。
● Xms 为jvm启动是分配的最大内存
● Xmx 为jvm运行过程分配的最大内存

4.2 修改虚拟内存最大映射数

系统虚拟内存默认最大映射数为65530，无法满足ES系统要求，需要调整为262144以上。
sudo vi /etc/sysctl.conf

#添加参数
vm.max_map_count = 655360

重新加载/etc/sysctl.conf配置

sysctl -p

4.3 各节点无法组成集群，各自都是master的解决办法

（1）关闭所有节点，或者直接删除容器
（2）在三个节点上清空/home/elasticsearch/data节点数据

cd /home/elasticsearch/data
rm -rf *

（3）重新启动所有节点

5 参考博客

1.docker进行ElasticSearch集群部署
2.Elasticsearch集群搭建及各节点无法组成集群，各自都是master的解决办法

编程课堂
关注
docker搭建ElasticSearch集群
qq_46127735的博客
06-07 2385
docker搭建ElasticSearch集群 创建挂载目录 进入config文件里面创建es配置文件 查询防火墙状态 关闭防火墙 （只执行这个，重启后不行，还必须执行在 目录下创建 es1.yml，es2.yml，es3.yml 编辑es1.yml 执行 命令 可以查看自己的宿主ip,找到 例如 ：es2.yml es3.yml 3.调高JVM线程数限制数量 在centos窗口中，修改配置 加入如下内容： 启用配置： 三、启动ElasticSearch集.........
docker部署ES集群
qq_39994098的博客
06-06 2160
docker部署ES集群
Docker 部署 ElasticSearch 集群
KawYang的博客
12-16 922
可以再容器运行时指定环境变量的方式增加配置，
docker部署elasticsearch8
最新发布
2401_87198316的博客
09-18 1416
在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。将临时kibana节点中的配置拷贝到/opt/soft/docker/elasticsearch/kibana中。如果在停止该应用后对其进行了变更，那么变更的内容不会反映在重启后的应用中，这时需要重新部署应用使变更生效。IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。前面是kibana容器中的地址，后面是物理服务器上的地址。
通过 Docker 部署 Elasticsearch 集群
运维-晓柏的博客
10-20 1062
通过容器部署的方式快速搭建ES集群。
Docker部署elasticsearch集群
你说亮不亮的博客
12-03 2007
Docker部署elasticsearch集群 1、集群架构 IP hostname ES节点 ES镜像 10.1.1.19 es1 es01 elasticsearch:7.14.2 10.1.1.20 es2 es02 elasticsearch:7.14.2 10.1.1.21 es3 es03 elasticsearch:7.14.2 2、安装docker 3、配置环境（三个节点都要做） （1）创建挂载目录 # 三个目录分别对应配置文件、数据和日志目录 mkdir /el
Docker中部署ElasticSearch集群
a1120467800的博客
03-19 279
** 搭建Elasticsearch ** 1.拉取境像 docker pull elasticsearch:6.5.4 2.修改单个进程中的最大线程数 vim /etc/sysctl.conf vm.max_map_count=262144 3.令修改的配置立即生效 /sbin/sysctl -p 4.创建文件夹，并创建jvm.options文件,并将jvm.options文件复制到其他文件夹中 mkdir /docker/es-cluster/node01 -p mkdir /doc
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
docker安装Elasticsearch7.6集群并设置密码
01-09
Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些...
使用docker快速部署Elasticsearch集群的方法
09-29
通过本篇文章的学习，可以了解到如何快速通过Docker容器化技术部署Elasticsearch集群，不仅适用于开发环境中的单机多实例场景，也适用于生产环境的集群部署。掌握这些方法对于提高Elasticsearch集群的部署效率和管理...
Docker搭建Elasticsearch集群
JiajunBernoulli的博客
12-26 237
拉取合适版本的镜像，可以去DockerHub查看 docker pull elasticsearch:6.8.10 准备需要的目录 mkdir config data1 data2 data3 注：如果ELK选的6.X版本的，那么读者需将data1 data2 data3 开启777权限chmod 777 data* 准备配置文件 vi config/es1.yml cluster.name: elasticsearch-cluster node.name: es-node1 net..
Docker搭建ElasticSearch集群
m0_52241823的博客
07-28 1609
docker搭建es集群
Docker 搭建 ElasticSearch 集群
Harrytsz的博客
11-29 1971
Ubuntu Docker ElasticSearch Version: 5.6.2 Download 1 Master + 2 Node Step 1: 创建 Ubuntu 本地文件 首先在 Ubuntu 本地创建以下目录结构： ES / ├── config │ ├── es0.yml │ ├── es1.yml │ └── es2.yml ├── data0 ├── data1 └── data2 # mkdir ES # cd ES # mkdir config # mkdir d.
docker搭建Elasticsearch集群
qq_33067315的博客
03-10 4756
拉取镜像 需要在dockerhub选择适合自己系统的镜像。(镜像适配的系统不同) docker pull es镜像 配置配置文件 # es1 # 主master配置样例子 # 集群的名称 cluster.name: "docker-cluster" # 节点的名称 node.name: node-1 # 此节点是否可以用作master节点 node.master: true # 此节点是否是存储节点 node.data: false # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
Docker部署elasticsearch集群（Demo版）
weixin_42803027的博客
04-19 318
配置文件 本次为了练习es集群搭建的测试版本，选取3个节点，3个节点都为候选节点同时也都为数据节点（存储索引数据等）；所以就配置文件而言，除了node名称和http.port transport不同之外其他都相同。 此处参考了古月_的博客。具体配置信息可点击参考。 启动docker 此处我是在我虚拟机进行搭建集群，会碰到的问题有： 虚拟机与物理主机通信问题，配置nat模式； 防火墙未关闭等； 虚拟缓存不足问题； 文件访问权限问题。 1.2两个问题可以参考我的其他博客； 3.需要通过管理员权限进行配置
Docker部署ElasticSearch集群
05-20 206
1.前言 为什么要用ElasticSearch？我们的应用经常需要添加检索功能，开源的Elastic Search是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架，提供RestfulAPI，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能。 Elasticsearch: 权威指南(中文)：https://www.elastic.co/guide/cn/elasticsearch/guide.
docker-elasticsearch集群
yanyf的博客
07-28 717
docker-elasticsearch集群
使用docker 搭建Elasticsearch集群
J_bean的博客
05-01 6704
1 安装环境    安装多机es集群时（分布式集群），在三台服务器分别安装一个es节点，这三个节点组成一个es集群。因为是小集群，因此设置这三个节点都可作为master节点和data节点。服务器的ip分别为192.168.1.111、192.168.1.112和192.168.1.113。    安装单机es集群时，在一台服务器192.168.1.114上安装三个es节点。    ELastics...
【docker专题_01】docker搭建elasticsearch集群 -
weixin_40736233的博客
10-19 387
docker搭建elasticsearch集群
使用Docker部署Elasticsearch集群6.7.1
在搭建Elasticsearch (ES) 集群时，Docker 提供了一种简便快捷的方式。以下是从给定信息中提炼出的关键步骤，以及相关的知识点： 1. **集群规划**： 在创建Elasticsearch集群时，需要预先规划节点的数量和它们的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值