docker-compose搭建Elasticsearch7.17.3集群

已于 2024-02-20 09:55:23 修改
阅读量773 收藏 1
点赞数 2
分类专栏： 运维 文章标签： docker 运维
于 2023-08-14 11:38:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20481597/article/details/132269309
版权

环境准备

  • 服务器（虚拟机）三台（在一个局域网内）：
    192.168.0.130
    192.168.0.131
    192.168.0.132

  • 操作系统 ：LInux

  • 安装 docker 以及 docker-compose
    如果未安装，请参考：在 Linux上安装和使用Docker

设置系统参数

最大虚拟内存值设置过小，无法支持ElasticSearch的运行。故需要修改系统参数。

编辑配置文件

sudo vim /etc/sysctl.conf

在文件中追加配置后保存退出

vm.max_map_count = 262144

使配置生效

sudo sysctl -p

临时修改（前面永久修改做了，这个就不用执行了）

sudo sysctl -w vm.max_map_count=262144

安装elasticsearch

  • 创建elasticsearch用户，如果已有非root的用户则不需要新建用户

创建用户

sudo useradd elasticsearch

设置密码

sudo passwd elasticsearch

切换用户

su elasticsearch
  • 在三台服务器上创建elasticsearch目录
sudo mkdir -p /opt/elasticsearch/
cd /opt/elasticsearch/
sudo mkdir conf
sudo mkdir logs
sudo mkdir data
  • 在三台服务器上分别创建 docker-compose.yml 文件
cd /opt/elasticsearch/
sudo vim docker-compose.yml

192.168.0.131 节点(默认主节点)配置如下：

version: '3.3'

services:
  elasticsearch:                                                         # 服务名称
    container_name: es02                                                 # 容器名称
    image: elasticsearch:7.17.3                                          # 镜像
    restart: always                                                      # 失败自动重启策略
    environment:
      - node.name=es02                                                   # 节点名称，集群模式下每个节点名称唯一
      - network.host=0.0.0.0                                             # 设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0，即本机
      - network.publish_host=192.168.0.131                               # 用于集群内各机器间通信,对外使用，其他机器访问本机器的es服务，一般为本机宿主机IP
#      - discovery.seed_hosts=192.168.0.130,192.168.0.131,192.168.0.132   # es7.0之后新增的写法，写入候选主节点的设备地址，在开>启服务后，如果master挂了，哪些可以被投票选为主节点
      - cluster.initial_master_nodes=es02                                # es7.0之后新增的配置，初始化一个新的集群时需要此配置来选举master
      - cluster.name=cluster-prod                                        # 集群名称，相同名称为一个集群， 三个es节点须一致
      - bootstrap.memory_lock=true                                       # 内存交换的选项，官网建议为true
      - node.master=true                                                 # 是否可以成为master节点
      - node.data=true                                                   # 是否可以成为data节点
      - http.port=9200                                                   # http 端口
      - transport.tcp.port=9300                                          # tcp 端口
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g"                                     # 设置内存，如内存不足，可以尝试调低点
      - TZ=Asia/Shanghai                                                 # 时区
    ulimits:
      memlock:
        soft: -1                                                         # 不限制
        hard: -1                                                         # 不限制
    volumes:                                                             # 
      - ./data:/usr/share/elasticsearch/data                             # 数据文件挂载
      - ./plugins:/usr/share/elasticsearch/plugins                       # 插件文件挂载
      - ./logs:/usr/share/elasticsearch/logs                             # 日志文件挂载
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  # 将容器中es的配置文件映射到本地，设置跨域， 否则head插件无法连接该节点
      - ./config/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12 #存放证书
    ports:                                                               # 端口映射
      - 9200:9200                                                        # http端口，可以直接浏览器访问
      - 9300:9300                                                        # es集群之间相互访问的端口，jar之间就是通过此端口进行tcp协议通>信，遵循tcp协议。
    networks:
      - elsticsearch
networks:
  elsticsearch:
    driver: bridge

192.168.0.130 节点配置如下：

version: '3.3'

services:
  elasticsearch:                                                         # 服务名称
    container_name: es01                                                 # 容器名称
    image: elasticsearch:7.17.3                                          # 镜像
    restart: always                                                      # 失败自动重启策略
    environment:
      - node.name=es01                                                   # 节点名称，集群模式下每个节点名称唯一
      - network.host=0.0.0.0                                             # 设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0，即本机
      - network.publish_host=192.168.0.130                               # 用于集群内各机器间通信,对外使用，其他机器访问本机器的es服务，一般为本机宿主机IP
        #      - discovery.seed_hosts=192.168.0.130,192.168.0.131,192.168.0.132   # es7.0之后新增的写法，写入候选主节点的设备地址，在开>启服务后，如果master挂了，哪些可以被投票选为主节点
      - cluster.initial_master_nodes=192.168.0.131                       # es7.0之后新增的配置，初始化一个新的集群时需要此配置来选举master
      - cluster.name=cluster-prod                                        # 集群名称，相同名称为一个集群， 三个es节点须一致
      - bootstrap.memory_lock=true                                       # 内存交换的选项，官网建议为true
      - node.master=true                                                 # 是否可以成为master节点
      - node.data=true                                                   # 是否可以成为data节点
      - http.port=9200                                                   # http 端口
      - transport.tcp.port=9300                                          # tcp 端口
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g"                                     # 设置内存，如内存不足，可以尝试调低点
      - TZ=Asia/Shanghai                                                 # 时区
    ulimits:
      memlock:
        soft: -1                                                         # 不限制
        hard: -1                                                         # 不限制
    volumes:                                                             # 
      - ./data:/usr/share/elasticsearch/data                             # 数据文件挂载
      - ./plugins:/usr/share/elasticsearch/plugins                       # 插件文件挂载
      - ./logs:/usr/share/elasticsearch/logs                             # 日志文件挂载
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  # 将容器中es的配置文件映射到本地，设置跨域， 否则head插件无法连接该节点
      - ./config/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12 #存放证书
    ports:                                                               # 端口映射
      - 9200:9200                                                        # http端口，可以直接浏览器访问
      - 9300:9300

192.168.0.132 节点配置如下：

version: '3.3'

services:
  elasticsearch:                                                         # 服务名称
    container_name: es03                                                 # 容器名称
    image: elasticsearch:7.17.3                                          # 镜像
    restart: always                                                      # 失败自动重启策略
    environment:
      - node.name=es03                                                   # 节点名称，集群模式下每个节点名称唯一
      - network.host=0.0.0.0                                             # 设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0，即本机
      - network.publish_host=192.168.0.132                               # 用于集群内各机器间通信,对外使用，其他机器访问本机器的es服务，一般为本机宿主机IP
        #      - discovery.seed_hosts=192.168.0.130,192.168.0.131,192.168.0.132   # es7.0之后新增的写法，写入候选主节点的设备地址，在开>启服务后，如果master挂了，哪些可以被投票选为主节点
      - cluster.initial_master_nodes=192.168.0.131                       # es7.0之后新增的配置，初始化一个新的集群时需要此配置来选举master
      - cluster.name=cluster-prod                                        # 集群名称，相同名称为一个集群， 三个es节点须一致
      - bootstrap.memory_lock=true                                       # 内存交换的选项，官网建议为true
      - node.master=true                                                 # 是否可以成为master节点
      - node.data=true                                                   # 是否可以成为data节点
      - http.port=9200                                                   # http 端口
      - transport.tcp.port=9300                                          # tcp 端口
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g"                                     # 设置内存，如内存不足，可以尝试调低点
      - TZ=Asia/Shanghai                                                 # 时区
    ulimits:
      memlock:
        soft: -1                                                         # 不限制
        hard: -1                                                         # 不限制
    volumes:                                                             # 
      - ./data:/usr/share/elasticsearch/data                             # 数据文件挂载
      - ./plugins:/usr/share/elasticsearch/plugins                       # 插件文件挂载
      - ./logs:/usr/share/elasticsearch/logs                             # 日志文件挂载
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  # 将容器中es的配置文件映射到本地，设置跨域， 否则head插件无法连接该节点
      - ./config/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12 #存放证书
    ports:                                                               # 端口映射
      - 9200:9200                                                        # http端口，可以直接浏览器访问
      - 9300:9300
  • 在三台服务器上创建配置 elasticsearch.yml
sudo vim /opt/elasticsearch/conf/elasticsearch.yml

192.168.0.131 节点配置：

# 对外暴露IP，0.0.0.0 表示本机IP
network.host: 0.0.0.0
# 配置允许跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,Content-Type

# 安全配置 - 证书
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

# 集群名称
cluster.name: cluster-prod
# 当前节点名称
node.name: es02
# 是否可以成为主节点
node.master: true
# 是否可以成为数据节点
node.data: true
# http 端口
http.port: 9200
# tcp 端口
transport.tcp.port: 9300
# 集群可发现的节点地址
discovery.zen.ping.unicast.hosts: ["192.168.0.130","192.168.0.131","192.168.0.132"]
# 默认主节点名称
cluster.initial_master_nodes: ["es02"]
# 对外发布的IP
network.publish_host: 192.168.0.131
# 主节点选举至少需要的节点数，配置成：集群节点数/2 + 1，防止脑裂现象
discovery.zen.minimum_master_nodes: 2

192.168.0.130 节点配置：

# 对外暴露IP，0.0.0.0 表示本机IP
network.host: 0.0.0.0
# 配置允许跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,Content-Type

# 安全配置 - 证书
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

# 集群名称
cluster.name: cluster-prod
# 当前节点名称
node.name: es01
# 是否可以成为主节点
node.master: true
# 是否可以成为数据节点
node.data: true
# http 端口
http.port: 9200
# tcp 端口
transport.tcp.port: 9300
# 集群可发现的节点地址
discovery.zen.ping.unicast.hosts: ["192.168.0.130","192.168.0.131","192.168.0.132"]
# 默认主节点名称
cluster.initial_master_nodes: ["es02"]
# 对外发布的IP
network.publish_host: 192.168.0.130
# 主节点选举至少需要的节点数，配置成：集群节点数/2 + 1，防止脑裂现象
discovery.zen.minimum_master_nodes: 2

192.168.0.132 节点配置：

# 对外暴露IP，0.0.0.0 表示本机IP
network.host: 0.0.0.0
# 配置允许跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,Content-Type

# 安全配置 - 证书
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

# 集群名称
cluster.name: cluster-prod
# 当前节点名称
node.name: es03
# 是否可以成为主节点
node.master: true
# 是否可以成为数据节点
node.data: true
# http 端口
http.port: 9200
# tcp 端口
transport.tcp.port: 9300
# 集群可发现的节点地址
discovery.zen.ping.unicast.hosts: ["192.168.0.130","192.168.0.131","192.168.0.132"]
# 默认主节点名称
cluster.initial_master_nodes: ["es02"]
# 对外发布的IP
network.publish_host: 192.168.0.132
# 主节点选举至少需要的节点数，配置成：集群节点数/2 + 1，防止脑裂现象
discovery.zen.minimum_master_nodes: 2
  • 获取授权证书

在 192.168.0.131 节点生成es临时容器

docker run -dit --name=es elasticsearch:7.17.3 /bin/bash

进入容器内

docker exec -it es /bin/bash

生成证书命令

./bin/elasticsearch-certutil ca

遇到交互，则一直回车，不用设置密码，方便后面设置密码，然后继续输入命令：

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

遇到交互，还是一直回车。最后按 exit 退出容器。

复制证书到容器外的elasticsearch的配置文件目录下

docker cp es:/usr/share/elasticsearch/elastic-certificates.p12 /opt/elasticsearch/config/

移除容器

docker kill es
docker rm es

将证书复制到另外两台服务器


# 将证书拷贝到另外两台机器
scp /opt/elasticsearch/conf/elastic-certificates.p12 elasticsearch@192.168.0.130:/opt/elasticsearch/conf
scp /opt/elasticsearch/conf/elastic-certificates.p12 elasticsearch@192.168.0.132:/opt/elasticsearch/conf
  • 在三台服务器上分别授权
chmod -R 777 /opt/elasticsearch
  • 在三台服务器上分别启动es
docker-compose up -d
  • 设置密码，在192.168.0.131节点上执行

进入容器

docker exec -it es02 /bin/bash

设置密码

./bin/elasticsearch-setup-passwords interactive

设置那几个用户的密码
在这里插入图片描述

安装kibana

在其中一个节点安装即可，我选择在192.168.0.132 安装

  • 新建目录
mkdir /opt/elasticsearch/kibana
cd /opt/elasticsearch/kibana
mkdir config
mkdir data
  • 配置docker-compose
vim docker-compose.yml

配置文件如下

version: '3.3'
services:
  kibana:
    image: kibana:7.17.3
    container_name: kibana
    environment:
      - SERVER_NAME=kibana
      - ELASTICSEARCH_HOSTS=["http://192.168.0.130:9200","http://192.168.0.131:9200","http://192.168.0.132:9200"]  #这个地址如果是阿里云
、华为云等云服务器，则需要是对外IP，也就是用户电脑能访问到的IP
      - XPACK_MONITORING_ENABLED=true
    ports:
      - 5601:5601
    volumes:
      - ./config/kibana.yml:/usr/share/kibana/config/kibana.yml
      - ./data:/usr/share/kibana/data
    networks:
      - elasticsearch
networks:
  elasticsearch:
    driver: bridge
  • 配置kibana.yml
vim /opt/elasticsearch/kibana/conf/kibana.yml

配置文件如下：

elasticsearch.username: "elastic"
elasticsearch.password: "你自己设置的密码"
xpack.monitoring.enabled: true
xpack.monitoring.ui.container.elasticsearch.enabled: true
server.host: "0.0.0.0"
i18n.locale: zh-CN #中文
#去除警告：Generating a random key for xpack.reporting.encryptionKey. 
#To prevent pending reports from failing on restart, please set xpack.reporting.encryptionKey in kibana.ym
xpack.reporting.encryptionKey: "122333444455555666666777777788888888"
#去除警告：Generating a random key for xpack.security.encryptionKey. 
#To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in kibana.y
xpack.security.encryptionKey: "122333444455555666666777777788888888"
server.publicBaseUrl: "http://192.168.0.132:5601"
  • 授权
chmod -R 777 kibana
  • 启动kibana
docker-compose up -d
  • 验证安装
    浏览器输入：http://192.168.0.132:5601
    输入账号密码登录
    在这里插入图片描述
    查看集群节点情况：GET https://192.168.0.132:9200/_cat/nodes
    在这里插入图片描述
奔跑匠人
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-compose管理elasticsearch步骤（elasticsearch&Kibana安装）-简单举例
weixin_45752941的博客
04-04 1915
一、配置虚拟机环境 虚拟机linux系统安装好docker。 二、编写docker-compose文件
一、docker-compose部署elasticsearch+hanlp分词器（7.16.2版本）----附完整镜像
m0_51706962的博客
02-08 1380
实现docker-compose部署elasticsearch+hanlp（7.16.2版本）
ES(Elasticsearch)的docker安装部署教程_docker 安装es(1)
afagagagaa的博客
04-21 984
注：上图2年之前表示该elasticsearch的7.10.1镜像版本是2年前制作的。ES集群安装要求桥接网络和一定的vm配置，执行./network.sh。给master.sh加执行权限：chmod u+x master.sh。执行./master.sh 直接创建2个主节点，
初识ES-安装kibana
Leon_Jinhai_Sun的博客
11-14 986
部署kibana kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。 部署 运行docker命令，部署kibana docker run -d \ --name kibana \ -e ELASTICSEARCH_HOSTS=http://es:9200 \ --network=es-net \ -p 5601:5601 \ kibana:7.12.1 --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一
Elasticsearch (一) 基于Docker-compose 搭建集群
m0_67392931的博客
08-16 1213
基于docker-compose 安装 elasticsearch 集群，kibana可视化组件， 通过cerebro工具监控集群信息。
docker compose安装elasticsearch
面朝大海，春暖花开
08-30 3121
docker compose安装 elasticsearch 安装 创建目录 es: mkdir es cd es 创建挂载目录 data mkdir data 创建 docker-compose.yml文件: version: '3' services: # search engine elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch-oss:7.0.1 # image:
docker-compose-window-2.14.2.exe
12-27
docker-compose-window-2.14.2.exe免费下载
docker-compose-Linux-1.29.2.tgz
07-21
docker-compose-Linux-1.29.2原文件及安装程序
docker-compose-1.27.4.zip
12-01
软件：docker-compose-Linux-x86_64 版本：1.27.4 说明：由于github下载速度非常不稳定，所以这里放一个备份，方便大家取用。
docker-compose安装elasticsearch集群.docx
06-19
总结，本文介绍了使用`docker-compose`安装Elasticsearch集群的方法，以及配置文件的关键设置，帮助读者理解如何搭建和管理Elasticsearch环境。在实际操作中，确保遵循最佳实践，如数据备份、监控、安全性等，以确保...
docker-compose_install.tar.gz
08-12
docker docker-compose 离线一键部署包（适用 centos 7 ）
ElasticSearch----使用docker-compose方式安装8.1.3版本的ElasticSearch集群
redrose2100的博客
06-07 999
安装步骤：（1）下载docker-compose执行如下命令进行下载 若速度较慢，可以使用如下命令： （2）修改目录权限 （3）创建软连接 （4）验证安装是否完成执行如下命令，如果可以正常显示版本号，则表示已经完成 使用docker-compose安装ElasticSearch （1）准备好环境变量内容如下，保存在.env文件中，存放在一个空的目录中，这里注意密码需要给ELASTIC_PASSWORD 和 KIBANA_PASSWORD 配置一个比较强的，不能使用过于简单的密码, 此外，这里暴露端口是通过E
docker搭建Elasticsearch集群
qq_43555873的博客
05-16 1104
.拉取es镜像 2.配置配置文件 3.启动容器 4.启动过程中遇到的问题 5.查看容器启动情况 elasticsearch 集群搭建，elasticsearch head
4、docker-compose安装elasticsearch:7.12.0带用户名密码验证并配置es-head连接
lihongbao80的专栏
08-02 9355
搭建es带用户名密码验证，并能es-head登录，及简单命令
docker-compose 安装部署ElasticSearch 和 Kibana 8.8.1
qq_27895435的博客
06-28 2353
Docker是一个流行的容器化平台，能够简化应用的部署和管理。本文将介绍如何使用Docker来安装和部署Elasticsearch，以便快速搭建强大的搜索引擎。
Linux（CentOs7）使用docker容器安装Elasticsearch+kibana
Relievedz的博客
03-14 1686
1.先查看之前是否安装了docker2、卸载docker3、docker启动启动 systemctl start docker 或者 service docker start停止：systemctl stop docker 或者 service docker stop重启：systemctl restart docker 或者 service docker restart。
在Linux系统上，基于docker安装ElasticSeach7.17.3
weixin_54203047的博客
04-02 647
首先连接上自己服务器，这里我用的是XShell。
多台es服务器搭建elasticsearch集群，es单机伪集群搭建，在一台服务器上以三个不同的端口模拟三台主机完成es伪集群搭建，windows和Linux操作方法一致
一个学习Java开发的老头
10-14 3092
1）cluster.name，必须全部相同。 2）node.name ,必须各不相同 3）http.port，设置对外服务的http端口必须各不相同 4）transport.tcp.port，设置集群节点间交互端口必须各不相同 5）cluster.initial_master_nodes，必须配置写入要加入集群的node名称 6）discovery.seed_hosts，必须配置写入要加入集群的节点的集群间的通信ip+端口
如何使用Docker搭建ES集群
gaohuanjie的专栏
11-18 3453
本博客详细介绍了如何使用Docker搭建ES集群。
docker-compose -f /root/harbor/docker-compose.yml start bash: docker-compose: 未找到命令...
最新发布
06-05
这个错误提示意味着您的系统中没有安装Docker Compose，需要您先安装Docker Compose才能使用该命令。Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。它允许您通过一个配置文件来定义您的应用程序的服务、网络和卷等等。 以下是安装Docker Compose的步骤： 1. 下载最新版本的Docker Compose： ``` sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose ``` 2. 添加可执行权限： ``` sudo chmod +x /usr/local/bin/docker-compose ``` 3. 验证安装： ``` docker-compose --version ``` 安装完成后，您可以使用 "docker-compose -f /root/harbor/docker-compose.yml start" 命令来启动您的Docker应用程序。其中，"-f"参数用于指定Docker Compose配置文件的位置，"start"表示启动Docker应用程序。如果您有任何其他问题，请随时向我提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值