Docker搭建ElasticSearch集群

最新推荐文章于 2024-06-30 00:31:47 发布
最新推荐文章于 2024-06-30 00:31:47 发布
阅读量1.5k 收藏 5
点赞数
分类专栏： MicroService 文章标签： elasticsearch docker 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52241823/article/details/126045363
版权

Docker搭建ElasticSearch集群

一、环境准备

  1. Linux Verison(7.9)
  2. VMware(16)
  3. Docker(20.10.16)
  4. ElasticSearch(7.17.1)
  5. Docker-compose(2.7.0)

二、环境搭建

2.1从Docker Hub上拉取ES镜像

docker pull elasticsearch:7.17.1

2.2查看本地镜像

docker images

image-20220728210743180

2.3修改虚拟内存大小(ES所需要的内存比较大 不改的话后边会报错(亲自采坑))
vim /etc/sysctl.conf 
#一个进程可以拥有的VMA(虚拟内存区域)的数量,默认值为65536
vm.max_map_count=655360
2.4重新加载配置文件

sysctl -p

2.5创建目录
  • 自定义目录下创建三个文件夹(节点1,2,3)

image-20220728212924824

  • 在每个节点文件夹下创建config,data

    image-20220728213717400

  • 修改每个节点文件夹下data目录的权限(不修改后面会报错,权限不够)

    • chmod 777 data/
2.6编写配置文件(elasticsearch.yml)
  • node-1
#进入node-1目录下的config目录
cd node-1/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es1
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-1
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9201
# 集群通信端口
transport.port: 9301
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
  • node-2
#进入node-2目录下的config目录
cd node-2/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es2
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-2
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9202
# 集群通信端口
transport.port: 9302
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
  • node-3
#进入node-3目录下的config目录
cd node-3/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es3
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-3
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9203
# 集群通信端口
transport.port: 9303
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
2.7编写docker-compose配置文件
  • docker-compose.yml与所有节点文件夹同级(相对路径好找)

image-20220728215432543

  • vim docker-compose.yml
#docker-compose 文件格式的版本 3
version: "3"
 
services:
#服务名
  es1:
  #镜像名
    image: elasticsearch:7.17.1
  #容器实例名  
    container_name: es1
  #环境参数变量,设置JVM最大（小）可用内存 太小的话es启不起来
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
  #端口映射 宿主机端口->容器实例内端口
    ports:
      - "9201:9201"
      - "9301:9301"
  #挂载容器数据卷(类似于reids中的rdb,aof持久化技术,将容器内的数据保存到宿主机磁盘上)
    volumes:
      - /opt/mydata/elasticsearch/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-1/data:/usr/share/elasticsearch/data
  #自定义docker网络模式,在调用服务的时候不用写死IP 直接使用服务名调用
    networks: 
      - es_net
      
  es2:
    image: elasticsearch:7.17.1
    container_name: es2
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ports:
      - "9202:9202"
      - "9302:9302"
    volumes:
      - /opt/mydata/elasticsearch/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-2/data:/usr/share/elasticsearch/data
    networks: 
      - es_net
      
  es3:
    image: elasticsearch:7.17.1
    container_name: es3
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ports:
      - "9203:9203"
      - "9303:9303"
    volumes:
      - /opt/mydata/elasticsearch/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-3/data:/usr/share/elasticsearch/data
    networks: 
      - es_net

networks:
  es_net:

  • 检查docker-compose.yml是否有语法错误

    docker-compose config -q

​ 控制台什么都没有输出的话就是没有问题

image-20220728220729567

2.8使用docker-compose一键启动容器实例
  • 后台启动:docker-compose up -d

image-20220728220956660

  • 查看docker进程是否已经启动

    docker ps

image-20220728221142354

es集群启动成功 端口映射成功

2.9 查看集群状态

  • 访问:

    http://IP:9201/_cluster/health

image-20220728221700684

status状态为green,集群搭建成功

3.0 docker-compose一键关闭容器实例

docker-compose down
image-20220728221935339

三、寄语

最后文中如果有那里有错别的地方希望指出,没有看得特别仔细,希望此次演示能给您带来方便,感谢阅读！

自先沉稳丶
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
架构师成长之路-docker 搭建es集群
2401_84046816的博客
04-07 974
还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来。
使用docker搭建elasticsearch集群
weixin_45753881的博客
03-06 492
使用docker搭建es集群
docker 搭建 es 集群
weixin_52036506的博客
05-30 1667
docker 搭建 es 集群
从零开始搭建Elasticsearch 8.13集群（保姆级），基于Docker命令方式
wien717651800的博客
05-13 2399
注意：所有环境已经安装Docker，并且打开9200和9300端口（或者关闭防火墙）。每个服务器均需进行以下操作：1.修改每个进程最大同时打开文件数和最大线程个数：文件最后加上：2.修改内存大小：文件最后加上：3.最后所有执行命令：sysctl -p。
6.1 Elasticsearch（一）Docker搭建ES集群
蟑螂恶霸的博客
10-12 2120
Elasticsearch是一个分布式搜索引擎服务器，搜索引擎有自己专门的搜索引擎服务器，而不是依靠数据库来做，我们搜索内容时，如果使用数据库来做，则需要模糊查询数据库中所有的数据，一条一条的去顺序比对，这种搜索效率是极低的；我们这里介绍Elasticsearch搜索引擎服务器，使用时需要将数据库中的数据同步到Elasticsearch服务器中，通过搜索引擎服务器去做搜索查询，因为其只支持搜索查询，专职于搜索服务的支持，其效率很高；后面我们要使用多个端口，为了避免繁琐的开放端口操作，我们关掉防火墙。
docker搭建Elasticsearch集群
qq_33067315的博客
03-10 4714
拉取镜像 需要在dockerhub选择适合自己系统的镜像。(镜像适配的系统不同) docker pull es镜像 配置配置文件 # es1 # 主master配置样例子 # 集群的名称 cluster.name: "docker-cluster" # 节点的名称 node.name: node-1 # 此节点是否可以用作master节点 node.master: true # 此节点是否是存储节点 node.data: false # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
基于Docker搭建Elasticsearch集群
梁诗傑的博客
08-22 1012
集群由多个Node组成，Node可以有不同的类型，通过下面配置文件设置： node.master=true ：作为的候选节点，标志着此节点可以产于选举。 node.data=true ：此节点作为数据节点，存储数据以及处理数据的写入、查询等。 两者都为false的时候，说明此节点只担任请求转发、结果聚合工作，在处理大量请求的时候，可以达到负载均衡效果。 核心概念 Cluster 集群 ES集群由多个节点组成，“集群名称”作为一个集群的标识。一个ES实例代表一个Node。Node具有多种类型，一般这样组合
docker搭建ElasticSearch集群
qq_46127735的博客
06-07 2273
docker搭建ElasticSearch集群 创建挂载目录 进入config文件里面创建es配置文件 查询防火墙状态 关闭防火墙 （只执行这个，重启后不行，还必须执行在 目录下创建 es1.yml，es2.yml，es3.yml 编辑es1.yml 执行 命令 可以查看自己的宿主ip,找到 例如 ：es2.yml es3.yml 3.调高JVM线程数限制数量 在centos窗口中，修改配置 加入如下内容： 启用配置： 三、启动ElasticSearch集.........
Docker 搭建 ElasticSearch 集群教程
因上努力，果上随缘。但行好事，莫问前程。
06-08 840
写在前面：为什么要用ElasticSearch？Elasticsearch: 权威指南(中文)：在centos窗口中，执行如下命令： 当前ES镜像版本信息： 二、创建数据挂载目录，以及配置ElasticSearch集群配置文件，调高JVM线程数限制数量 1.创建数据文件挂载目录,并开放通信端口在centos窗口中，执行如下操作： 2.创建ElasticSearch配置文件在centos窗口中，使用vim命令分别创建如下文件：es1.yml,es2.yml,es3.ymles1.yml
【docker搭建es8集群+kibana】
最新发布
ych_0901的博客
06-30 992
使用docker搭建es8集群，连接kibana客户端
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
使用docker快速搭建Elasticsearch集群.pdf
11-23
总之，利用Docker搭建Elasticsearch集群是一项涉及系统配置、网络管理以及Elasticsearch配置的工作。通过合理配置，我们可以轻松地在本地或生产环境中快速部署和扩展Elasticsearch集群，满足各种数据搜索和分析的...
使用docker快速搭建Elasticsearch集群.docx
11-23
。。。
Elasticsearch最新版本7.6.0使用docker安装集群
01-07
今天使用docker安装elasticsearch最新版本7.6.0的集群环境.遇到了好多坑,最终完成搭建先整理安装步骤 1.先从docker hub下pull最新的es镜像 2.创建数据挂在目录,配置ElasticSearch集群配置文件，调高JVM线程数限制...
使用docker快速部署Elasticsearch集群的方法
01-20
本文将使用Docker容器（使用docker-compose编排）快速部署Elasticsearch 集群，可用于开发环境（单机多实例）或生产环境部署。 注意，6.x版本已经不能通过 -Epath.config 参数去指定配置文件的加载位置，文档说明： ...
docker-compose安装elasticsearch集群.docx
06-19
总结，本文介绍了使用`docker-compose`安装Elasticsearch集群的方法，以及配置文件的关键设置，帮助读者理解如何搭建和管理Elasticsearch环境。在实际操作中，确保遵循最佳实践，如数据备份、监控、安全性等，以确保...
Docker构建ELK Docker集群日志收集系统
01-10
当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成 ...
Docker 简单部署 ElasticSearch【包括集群的搭建】.rar
09-16
Docker 简单部署 ElasticSearch【包括集群的搭建】.rar
docker 搭建 es集群
08-16
要搭建 Elasticsearch 集群，可以使用 Docker 容器化部署。下面是一个简单的步骤： 1. 安装 Docker：根据操作系统的不同，安装对应的 Docker 版本。 2. 创建网络：在 Docker 中，创建一个网络以使容器可以相互通信。可以使用以下命令创建一个名为 "es_net" 的网络： ```shell docker network create es_net ``` 3. 创建 Elasticsearch 容器： ```shell docker run -d --name es01 --net es_net -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 这将创建一个名为 "es01" 的 Elasticsearch 容器，并将其连接到 "es_net" 网络。容器将通过端口映射将 Elasticsearch 的 9200 和 9300 端口暴露到主机上。 4. 复制容器并创建集群： ```shell docker run -d --name es02 --net es_net -e "discovery.seed_hosts=es01" docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 使用上述命令创建另一个名为 "es02" 的容器，并将其连接到同一网络。通过设置 "discovery.seed_hosts" 参数为 "es01"，将新容器加入到已存在的容器中，从而创建了一个简单的 Elasticsearch 集群。 5. 可以根据需要创建更多的容器，并将它们加入到集群中。 这样，你就成功搭建了一个简单的 Elasticsearch 集群。请注意，这里只是最基本的搭建过程，实际部署时可能需要更多的配置和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值