Docker搭建ElasticSearch集群

最新推荐文章于 2024-05-13 20:17:34 发布
最新推荐文章于 2024-05-13 20:17:34 发布
阅读量1.5k 收藏 5
点赞数
分类专栏： MicroService 文章标签： elasticsearch docker 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52241823/article/details/126045363
版权

Docker搭建ElasticSearch集群

一、环境准备

  1. Linux Verison(7.9)
  2. VMware(16)
  3. Docker(20.10.16)
  4. ElasticSearch(7.17.1)
  5. Docker-compose(2.7.0)

二、环境搭建

2.1从Docker Hub上拉取ES镜像

docker pull elasticsearch:7.17.1

2.2查看本地镜像

docker images

image-20220728210743180

2.3修改虚拟内存大小(ES所需要的内存比较大 不改的话后边会报错(亲自采坑))
vim /etc/sysctl.conf 
#一个进程可以拥有的VMA(虚拟内存区域)的数量,默认值为65536
vm.max_map_count=655360
2.4重新加载配置文件

sysctl -p

2.5创建目录
  • 自定义目录下创建三个文件夹(节点1,2,3)

image-20220728212924824

  • 在每个节点文件夹下创建config,data

    image-20220728213717400

  • 修改每个节点文件夹下data目录的权限(不修改后面会报错,权限不够)

    • chmod 777 data/
2.6编写配置文件(elasticsearch.yml)
  • node-1
#进入node-1目录下的config目录
cd node-1/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es1
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-1
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9201
# 集群通信端口
transport.port: 9301
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
  • node-2
#进入node-2目录下的config目录
cd node-2/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es2
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-2
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9202
# 集群通信端口
transport.port: 9302
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
  • node-3
#进入node-3目录下的config目录
cd node-3/config
#创建elasticsearch.yml
vim elasticsearch.yml
#-------------------------------------------
# es3
# 集群的名称(各节点*集群名称*需要保持一致)
cluster.name: "docker-cluster"
# # # 节点的名称
node.name: node-3
# # # 此节点是否可以用作master节点
node.master: true
# # # 此节点是否是存储节点
node.data: true
# # # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
node.ingest: true
#设置主机IP 0.0.0.0时外网可以访问到
network.host: 0.0.0.0
# 配置端口
http.port: 9203
# 集群通信端口
transport.port: 9303
#集群内节点信息 每个节点会共享自己的此参数
discovery.seed_hosts: ["es1:9301","es2:9302","es3:9303"]
#集群的master候选节点目录。只有在初始化的时候才生效。
#这里只写node-1 并且配置这个参数 是用于快速搭建集群。集群已启动自动node-1   是master
cluster.initial_master_nodes: ["node-1"]
#cross 跨域访问 配置这个之后 head就可以用了
http.cors.enabled:  true
http.cors.allow-origin:  "*"
2.7编写docker-compose配置文件
  • docker-compose.yml与所有节点文件夹同级(相对路径好找)

image-20220728215432543

  • vim docker-compose.yml
#docker-compose 文件格式的版本 3
version: "3"
 
services:
#服务名
  es1:
  #镜像名
    image: elasticsearch:7.17.1
  #容器实例名  
    container_name: es1
  #环境参数变量,设置JVM最大（小）可用内存 太小的话es启不起来
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
  #端口映射 宿主机端口->容器实例内端口
    ports:
      - "9201:9201"
      - "9301:9301"
  #挂载容器数据卷(类似于reids中的rdb,aof持久化技术,将容器内的数据保存到宿主机磁盘上)
    volumes:
      - /opt/mydata/elasticsearch/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-1/data:/usr/share/elasticsearch/data
  #自定义docker网络模式,在调用服务的时候不用写死IP 直接使用服务名调用
    networks: 
      - es_net
      
  es2:
    image: elasticsearch:7.17.1
    container_name: es2
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ports:
      - "9202:9202"
      - "9302:9302"
    volumes:
      - /opt/mydata/elasticsearch/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-2/data:/usr/share/elasticsearch/data
    networks: 
      - es_net
      
  es3:
    image: elasticsearch:7.17.1
    container_name: es3
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    ports:
      - "9203:9203"
      - "9303:9303"
    volumes:
      - /opt/mydata/elasticsearch/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /opt/mydata/elasticsearch/node-3/data:/usr/share/elasticsearch/data
    networks: 
      - es_net

networks:
  es_net:

  • 检查docker-compose.yml是否有语法错误

    docker-compose config -q

​ 控制台什么都没有输出的话就是没有问题

image-20220728220729567

2.8使用docker-compose一键启动容器实例
  • 后台启动:docker-compose up -d

image-20220728220956660

  • 查看docker进程是否已经启动

    docker ps

image-20220728221142354

es集群启动成功 端口映射成功

2.9 查看集群状态

  • 访问:

    http://IP:9201/_cluster/health

image-20220728221700684

status状态为green,集群搭建成功

3.0 docker-compose一键关闭容器实例

docker-compose down
image-20220728221935339

三、寄语

最后文中如果有那里有错别的地方希望指出,没有看得特别仔细,希望此次演示能给您带来方便,感谢阅读！

自先沉稳丶
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
快速搞懂Docker部署ElasticSearch集群
程序媛小琬的博客
01-21 551
前言 为什么要用ElasticSearch？我们的应用经常需要添加检索功能，开源的Elastic Search是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架，提供RestfulAPI，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能。 Elasticsearch: 权威指南(中文)：https://www.elastic.co/guide/cn/elasticsearch/guide/cu
Docker + Elasticsearch 集群环境搭建
happyJared
09-26 2908
无论是安装包形式还是基于Docker，搭建Elasticsearch集群环境还是较为简单的，实操的时候还遇到过一丢小问题，本文用于记录下操作过程。 运行 先用docker分别启动两个es服务，由于后面需要进行配置，这里假设es1所在的机器公网ip为：123.11.23.1，es2所在机器ip：123.11.23.2 # 运行ES1 docker run --name es1 -e "ES_JA...
docker安装Elasticsearch7.6集群并设置密码
01-09
Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些参数。 设置vm.max_map_count=262144 sudo vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 es的data和logs目录需要给1000的用户授权， 我们假设安装3个实力的es集群，先创建对
Docker Elasticsearch集群部署
记录工作开发中遇到的技术难点，方便自己查看，也希望可以帮助到他人...
06-11 2153
Elasticsearch是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
从零开始搭建Elasticsearch 8.13集群（保姆级），基于Docker命令方式
最新发布
wien717651800的博客
05-13 2288
注意：所有环境已经安装Docker，并且打开9200和9300端口（或者关闭防火墙）。每个服务器均需进行以下操作：1.修改每个进程最大同时打开文件数和最大线程个数：文件最后加上：2.修改内存大小：文件最后加上：3.最后所有执行命令：sysctl -p。
docker搭建Elasticsearch集群
qq_33067315的博客
03-10 4711
拉取镜像 需要在dockerhub选择适合自己系统的镜像。(镜像适配的系统不同) docker pull es镜像 配置配置文件 # es1 # 主master配置样例子 # 集群的名称 cluster.name: "docker-cluster" # 节点的名称 node.name: node-1 # 此节点是否可以用作master节点 node.master: true # 此节点是否是存储节点 node.data: false # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
docker简易搭建ElasticSearch集群
热门推荐
做对一件事很重要
10-23 4万+
写在前面：为什么要用ElasticSearch？我们的应用经常需要添加检索功能，开源的Elastic Search是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架，提供RestfulAPI，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能。 Elasticsearch: 权威指南(...
6.1 Elasticsearch（一）Docker搭建ES集群
蟑螂恶霸的博客
10-12 2075
Elasticsearch是一个分布式搜索引擎服务器，搜索引擎有自己专门的搜索引擎服务器，而不是依靠数据库来做，我们搜索内容时，如果使用数据库来做，则需要模糊查询数据库中所有的数据，一条一条的去顺序比对，这种搜索效率是极低的；我们这里介绍Elasticsearch搜索引擎服务器，使用时需要将数据库中的数据同步到Elasticsearch服务器中，通过搜索引擎服务器去做搜索查询，因为其只支持搜索查询，专职于搜索服务的支持，其效率很高；后面我们要使用多个端口，为了避免繁琐的开放端口操作，我们关掉防火墙。
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
使用docker快速搭建Elasticsearch集群.pdf
11-23
总之，利用Docker搭建Elasticsearch集群是一项涉及系统配置、网络管理以及Elasticsearch配置的工作。通过合理配置，我们可以轻松地在本地或生产环境中快速部署和扩展Elasticsearch集群，满足各种数据搜索和分析的...
使用docker快速搭建Elasticsearch集群.docx
11-23
。。。
Elasticsearch最新版本7.6.0使用docker安装集群
01-07
今天使用docker安装elasticsearch最新版本7.6.0的集群环境.遇到了好多坑,最终完成搭建先整理安装步骤 1.先从docker hub下pull最新的es镜像 2.创建数据挂在目录,配置ElasticSearch集群配置文件，调高JVM线程数限制...
docker搭建ElasticSearch集群
qq_46127735的博客
06-07 2270
docker搭建ElasticSearch集群 创建挂载目录 进入config文件里面创建es配置文件 查询防火墙状态 关闭防火墙 （只执行这个，重启后不行，还必须执行在 目录下创建 es1.yml，es2.yml，es3.yml 编辑es1.yml 执行 命令 可以查看自己的宿主ip,找到 例如 ：es2.yml es3.yml 3.调高JVM线程数限制数量 在centos窗口中，修改配置 加入如下内容： 启用配置： 三、启动ElasticSearch集.........
docker进行ElasticSearch集群部署
qiaodaima0的博客
06-13 2248
docker进行es集群部署
Docker 部署 ElasticSearch 集群
KawYang的博客
12-16 723
可以再容器运行时指定环境变量的方式增加配置，
docker-elasticsearch集群
yanyf的博客
07-28 688
docker-elasticsearch集群
ElasticSearch系列-集群安装(docker compose方式)
yue_stack的博客
07-29 502
当你创建一个索引的时候，你可以指定你想要的分片的数量。一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。允许集群初始化 master 节点节点数: cluster.initial_master_nodes: ["node-1", "node-2","node-3"]这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。
架构师成长之路-docker 搭建es集群，Java开发避坑指南
m0_61549591的博客
03-31 767
安装es的内存一定要设置大一点，复制多台虚拟机完全看你电脑性能，如果8g的运行内存就不要尝试了，是很卡的。
docker 搭建 es集群
08-16
要搭建 Elasticsearch 集群，可以使用 Docker 容器化部署。下面是一个简单的步骤： 1. 安装 Docker：根据操作系统的不同，安装对应的 Docker 版本。 2. 创建网络：在 Docker 中，创建一个网络以使容器可以相互通信。可以使用以下命令创建一个名为 "es_net" 的网络： ```shell docker network create es_net ``` 3. 创建 Elasticsearch 容器： ```shell docker run -d --name es01 --net es_net -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 这将创建一个名为 "es01" 的 Elasticsearch 容器，并将其连接到 "es_net" 网络。容器将通过端口映射将 Elasticsearch 的 9200 和 9300 端口暴露到主机上。 4. 复制容器并创建集群： ```shell docker run -d --name es02 --net es_net -e "discovery.seed_hosts=es01" docker.elastic.co/elasticsearch/elasticsearch:7.14.0 ``` 使用上述命令创建另一个名为 "es02" 的容器，并将其连接到同一网络。通过设置 "discovery.seed_hosts" 参数为 "es01"，将新容器加入到已存在的容器中，从而创建了一个简单的 Elasticsearch 集群。 5. 可以根据需要创建更多的容器，并将它们加入到集群中。 这样，你就成功搭建了一个简单的 Elasticsearch 集群。请注意，这里只是最基本的搭建过程，实际部署时可能需要更多的配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值