基于Docker搭建Elasticsearch集群和Kibana

已于 2022-03-19 22:51:17 修改
阅读量3.7k 收藏 5
点赞数 4
分类专栏： elasticsearch 文章标签： elasticsearch docker big data
于 2022-03-18 10:59:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y_eatMeat/article/details/123566539
版权

基于Docker搭建Elasticsearch集群

集群规划，采用三个节点

# 准备3个es节点 es 9200 9300
- web 9201 tcp:9301 node-1 elasticsearch.yml
- web 9202 tcp:9302 node-2 elasticsearch.yml
- web 9203 tcp:9303 node-3 elasticsearch.yml
  • 注意
    • 所有节点集群名称必须保持一致cluster.name
    • 每个节点必须有唯一的名字 node.name
    • 开启每个节点的远程连接network.host:0.0.0.0
    • 指定IP地址进行集群节点通信network_publish_host:
    • 修改web端口tcp端口http.port:transport.tcp.port
    • 指定集群中所有系节点通信列表discovery.seed_hosts:node-1 node-2 node-3相同
    • 允许集群初始化master节点节点数：cluster.initial_master_nodes:[“node-1”, “node-2”, “node-3”]
    • 集群最少几个节点可用gateway.recover_after_nodes:2
    • 开启每个节点的跨域访问http.cors.enabled:true http.cors.allow.-origin:"*"

配置文件

cluster
	node-1
		config/elasticsearch.yml
			# 集群名称
			cluster.name: es-cluster 
			
			#节点名称
			node.name: node-1 
			
			# 发布地址，一个单一地址，用于通知集群中的其他节点，以便其他的节点能够和它通信。当前，一个 elasticsearch 节点可能被绑定到多个地址，但是仅仅有一个发布地址
			# docker宿主机ip
			network.publish_host: 172.30.38.46
			
			# 开放远程连接，bind_host和publish_host一起设置
			network.host: 0.0.0.0 
			
			# 对外暴露的http请求端口
			http.port: 9201 
			
			# 集群节点之间通信用的TCP端口
			transport.tcp.port: 9301
			
			# 一个集群中最小主节点个数（防止脑裂，一般为n/2 + 1，n为集群节点个数）（7.10.1版本已取消？）
			discovery.zen.minimum_master_nodes: 2 
			
			# 新节点启动时能被发现的节点列表（新增节点需要添加自身）
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			
			# 集群初始话指定主节点（节点名）,7版本必须设置
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			
			# 跨域问题解决
			http.cors.enabled: true
			http.cors.allow-origin: "*"
	node-2
		config/elasticsearch.yml
			# 集群名称
			cluster.name: es-cluster 
			
			#节点名称
			node.name: node-1 
			
			# 发布地址，一个单一地址，用于通知集群中的其他节点，以便其他的节点能够和它通信。当前，一个 elasticsearch 节点可能被绑定到多个地址，但是仅仅有一个发布地址
			network.publish_host: 172.30.38.46
			
			# 开放远程连接，bind_host和publish_host一起设置
			network.host: 0.0.0.0 
			
			# 对外暴露的http请求端口
			http.port: 9202 
			
			# 集群节点之间通信用的TCP端口
			transport.tcp.port: 9302
			
			# 一个集群中最小主节点个数（防止脑裂，一般为n/2 + 1，n为集群节点个数）（7.10.1版本已取消？）
			discovery.zen.minimum_master_nodes: 2 
			
			# 新节点启动时能被发现的节点列表（新增节点需要添加自身）
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			
			# 集群初始话指定主节点（节点名）,7版本必须设置
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			
			# 跨域问题解决
			http.cors.enabled: true
			http.cors.allow-origin: "*"	
	node-3
		config/elasticsearch.yml
			# 集群名称
			cluster.name: es-cluster 
			
			#节点名称
			node.name: node-1 
			
			# 发布地址，一个单一地址，用于通知集群中的其他节点，以便其他的节点能够和它通信。当前，一个 elasticsearch 节点可能被绑定到多个地址，但是仅仅有一个发布地址
			network.publish_host: 172.30.38.46
			
			# 开放远程连接，bind_host和publish_host一起设置
			network.host: 0.0.0.0 
			
			# 对外暴露的http请求端口
			http.port: 9203 
			
			# 集群节点之间通信用的TCP端口
			transport.tcp.port: 9303
			
			# 一个集群中最小主节点个数（防止脑裂，一般为n/2 + 1，n为集群节点个数）（7.10.1版本已取消？）
			discovery.zen.minimum_master_nodes: 2 
			
			# 新节点启动时能被发现的节点列表（新增节点需要添加自身）
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			
			# 集群初始话指定主节点（节点名）,7版本必须设置
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			
			# 跨域问题解决
			http.cors.enabled: true
			http.cors.allow-origin: "*"

创建/elk/escluster-kibana-compose/node-1，/elk/escluster-kibana-compose/node-2，/elk/escluster-kibana-compose/node-3文件夹。分别在三个文件夹下创建config文件夹并在config文件夹下创建elasticsearch.yml文件，

cluster
	node-1
		config/elasticsearch.yml
			cluster.name: es-cluster 
			node.name: node-1 
			network.publish_host: 172.30.38.46
			network.host: 0.0.0.0 
			http.port: 9201 
			transport.tcp.port: 9301
			discovery.zen.minimum_master_nodes: 2 
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			http.cors.enabled: true
			http.cors.allow-origin: "*"
	node-2
		config/elasticsearch.yml
			cluster.name: es-cluster 
			node.name: node-2 
			network.publish_host: 172.30.38.46
			network.host: 0.0.0.0 
			http.port: 9202 
			transport.tcp.port: 9302
			discovery.zen.minimum_master_nodes: 2 
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			http.cors.enabled: true
			http.cors.allow-origin: "*"	
	node-3
		config/elasticsearch.yml
			cluster.name: es-cluster 
			node.name: node-3
			network.publish_host: 172.30.38.46
			network.host: 0.0.0.0 
			http.port: 9203 
			transport.tcp.port: 9303
			discovery.zen.minimum_master_nodes: 2 
			discovery.zen.ping.unicast.hosts: ["172.30.38.46:9301","172.30.38.46:9302","172.30.38.46:9303"]
			cluster.initial_master_nodes: ["node-1","node-2","node-3"]
			http.cors.enabled: true
			http.cors.allow-origin: "*"

/elk/escluster-kibana-compose/kibana.yml

server.name: kibana
server.port: 5606
server.host: "0"
elasticsearch.hosts: [ "http://es01:9201","http://es02:9202","http://es03:9203" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true

docker-compose.yml文件

version: "2"
networks:
  escluster:
services:
  es01:
    image: elasticsearch:7.6.0
    ports:
      - "9201:9201"
      - "9301:9301"
    networks:
      - "escluster"
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /elk/escluster-kibana-compose/node-1/data:/usr/share/elasticsearch/data
      - /elk/escluster-kibana-compose/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /elk/escluster-kibana-compose/node-1/plugins/ik-7.6.0:/usr/share/elasticsearch/plugins/ik-7.6.0
  es02:
    image: elasticsearch:7.6.0
    ports:
      - "9202:9202"
      - "9302:9302"
    networks:
      - "escluster"
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /elk/escluster-kibana-compose/node-2/data:/usr/share/elasticsearch/data
      - /elk/escluster-kibana-compose/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /elk/escluster-kibana-compose/node-2/plugins/ik-7.6.0:/usr/share/elasticsearch/plugins/ik-7.6.0
  es03:
    image: elasticsearch:7.6.0
    ports:
      - "9203:9203"
      - "9303:9303"
    networks:
      - "escluster"
    environment:
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /elk/escluster-kibana-compose/node-3/data:/usr/share/elasticsearch/data
      - /elk/escluster-kibana-compose/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /elk/escluster-kibana-compose/node-3/plugins/ik-7.6.0:/usr/share/elasticsearch/plugins/ik-7.6.0
  kibana:
    image: kibana:7.6.0
    ports:
      - "5606:5606"
    networks:
      - "escluster"
    volumes:
      - /elk/escluster-kibana-compose/kibana.yml:/usr/share/kibana/config/kibana.yml

执行docker-compose

# 启动
docker-compose up -d
# 查看日志
docker-compose logs -f

启动完成之后分别访问

http://172.30.38.46:9201/

http://172.30.38.46:9202/

http://172.30.38.46:9203/

{
"name": "node-1",
"cluster_name": "es-cluster",
"cluster_uuid": "gC1ZHP8uSOqnqof0-Rdlcg",
"version": {
"number": "7.6.0",
"build_flavor": "default",
"build_type": "docker",
"build_hash": "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
"build_date": "2020-02-06T00:09:00.449973Z",
"build_snapshot": false,
"lucene_version": "8.4.0",
"minimum_wire_compatibility_version": "6.8.0",
"minimum_index_compatibility_version": "6.0.0-beta1"
},
"tagline": "You Know, for Search"
}


{
"name": "node-2",
"cluster_name": "es-cluster",
"cluster_uuid": "gC1ZHP8uSOqnqof0-Rdlcg",
"version": {
"number": "7.6.0",
"build_flavor": "default",
"build_type": "docker",
"build_hash": "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
"build_date": "2020-02-06T00:09:00.449973Z",
"build_snapshot": false,
"lucene_version": "8.4.0",
"minimum_wire_compatibility_version": "6.8.0",
"minimum_index_compatibility_version": "6.0.0-beta1"
},
"tagline": "You Know, for Search"
}

{
"name": "node-3",
"cluster_name": "es-cluster",
"cluster_uuid": "gC1ZHP8uSOqnqof0-Rdlcg",
"version": {
"number": "7.6.0",
"build_flavor": "default",
"build_type": "docker",
"build_hash": "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
"build_date": "2020-02-06T00:09:00.449973Z",
"build_snapshot": false,
"lucene_version": "8.4.0",
"minimum_wire_compatibility_version": "6.8.0",
"minimum_index_compatibility_version": "6.0.0-beta1"
},
"tagline": "You Know, for Search"
}

访问kibana

http://172.30.38.46:5606/

YAnalytics
关注
专栏目录
docker方式部署带用户权限管理的elasticsearch集群和kibana
guan0005的博客
01-04 4644
docker方式部署elasticsearch集群和kibana 一、部署环境 服务器： IP地址 操作系统 192.168.241.11 CentOs7-1804 192.168.241.12 CentOs7-1611 192.168.241.13 CentOs7-1804 docker版本：18.03.1-ce, build 9ee9f40及1.13.1, buil...
docker搭建ES集群及Kibana教程
sonia_liss的博客
05-09 1566
加载docker es 镜像 docker pull elasticsearch:6.4.2 配置ES 配置文件地址： /home/es/config/ es1.yml es2.yml es3.yml 在本地配置elasticsearch.yml文件，设置es集群名称、ip等 如下： ES01: cluster.name: elasticsearch-cluster node.name: es-node1 network.bind_host: 0.0.0.0 network.publish.
docker - kibana + elasticsearch + ik 分词的集群搭建
小刁缘
09-09 612
Elasticsearc： Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用，现在是使用最广的开源搜索引擎之一。 环境 + 虚拟机： ubuntu18 64位 + docker 192.168.1.209:...
docker快速安装ELK
最新发布
wangchange的博客
09-29 1689
注意ip是你的服务器ip,端口就是5601，首次访问页面如下，需要先配置Elastic,我们选择自己手动配置一下，然后配置Elastic服务地址，vi docker-compose.yml，然后将下面的代码粘贴到文件中，最后保存即可。先进入/usr/local/share/elk目录，然后启动ELK。创建/elk/elasticsearch/data/目录。创建/elk/logstash/pipeline/目录。创建/elk/kibana/conf/目录。创建docker-compose.yml。
elasticsearch(一)docker多机部署elasticsearch集群及elk搭建(7.4.2)
weixin_43165212的博客
02-04 3269
@TOC 前言 本篇为elasticseach系列片第一章,大家一起先把es的环境搭建起来,有需要elk整合方式的见文章最后部分 搭建es集群 1 docker run -d --name es01 -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms4g -Xmx4g" -v /opt/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /opt/es.
kibana docker部署后连接ES集群
qn0007的博客
01-11 1176
方式1. 用变量的方式传进去 docker run –itd –name kibana –publish 0.0.0.0:5601:5601 –restart=always -e ELASTICSEARCH_HOSTS=’[“http://example1.com:9200”,“http://example2.com:9200”,“http://example3.com:9200”]’ kibana:7.2.0 方式2. 配置文件 cat kibana.yml kibana.yml serv
elasticseach kibana docker集群
开享
05-08 458
创建network docker network create es 使用docker-compose建立elasticsearch集群 将以下内容写入docker-compose.yml version: '2.2' services: es0: image: docker.io/elasticsearch:7.0.1 container_name: es0 e...
Docker安装ElasticSearch和Kibana
qq_40970962的博客
04-13 345
ElasticSearch和Kibana都是开源的搜索和分析工具，用于处理大量的搜索和数据分析任务。
docker安装elastic search和kibana
pythonxxoo的博客
04-11 2781
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 目录* 安装目标 安装es 1. docker pull 2. 临时安装生成文件 3. 设置外部数据卷 4. 停止并删除临时容器 5. 重新起容器并挂载外部文件夹 安装kibana 1. 运行
docker-compose安装elasticsearch集群+kibana
maquealone的博客
04-20 7285
公司需要用到elasticsearch做垂直搜索，下面记录下搭建elasticsearch集群环境的步骤。服务器使用的是阿里云服务器，操作系统是centos7。 一、安装docker Yum install docker-ce 安装成功后运行docker -v查看docker版本。 运行docker run hello-world查看docker是否可用。 注意：一定要提前运行下do...
Docker环境部署，SpringCloud全家桶Docker搭建、Elasticsearch、kibana、Nacos、Sentinel、seata、skywalking、redis集群搭建
www_manong_com的博客
04-25 702
Docker环境部署，SpringCloud全家桶集群Docker搭建、Elasticsearch、kibana、Nacos、Sentinel、seata、skywalking、redis集群搭建
docker安装elasticsearch和kibana的方法步骤
01-09
现在elasticsearch是比较火的，很多公司都在用，所以如果说还不知道es可能就会被人鄙视了。所以这里我就下决心来学习es，我比较钟爱于docker所有也就使用了docker来安装es，这里会详细介绍下安装的细节以及需要注意的地方。关于docker的安装在这里我就不去说明了，可以自行安装一下就可以了，很简单的，我保证你真的可能会爱上它。这里我使用的电脑是MacBook Pro 如果是linux的话其实基本相同，如果是Windows的话，可能就不太一样了，这里我也没有实际操作过，感兴趣的也可以自己去尝试一下。  1.安装elasticsearch pull elasticsearch镜像
Elasticsearch（一）Docker搭建ES集群
qq_54781283的博客
06-16 606
后面我们要使用多个端口，为了避免繁琐的开放端口操作，我们关掉防火墙 安装Docker 我们使用 Docker 来运行 Elasticsearch，首先安装 Docker，参考下面笔记：Docker笔记 集群部署结构 在一台服务器上，使用Docker部署三个ES容器组成的集群 设置 max_map_count 必须修改系统参数 ，否则 Elasticsearch 无法启动：在 文件中添加 确认参数配置： 启动 Elasticsearch 集群 node1： 环境变量说明：参考 https://www.e
Docker构建es集群+Kibana+Cerebro
学习和工作总结，共勉！
10-16 842
Docker构建es集群+Kibana+Cerebro+ik中文分词器 一、创建docker-compose目录结构 将elasticsearch下的各个节点的data和logs目录需要修改权限： chmod 0777 data analysis-ik分词器的已经放入，需要的可以到码云下载 ： https://gitee.com/molonglove/docker-es-service 二、d...
elasticsearch8.x版本docker部署说明和集成springboot
Grey_fantasy的博客
01-27 621
elasticsearch8.x版本docker部署说明和集成springboot
Docker部署Elasticsearch集群并开启安全设置
热门推荐
悟能的师兄的专栏
03-02 2万+
Docker部署Elasticsearch集群并开启安全设置
docker-compose es + kibana 集群/单机部署
tang_jian_dong的博客
03-07 2766
docker-compose es + kibana 集群/单机部署
docker搭建Elasticsearch集群
qq_33067315的博客
03-10 4755
拉取镜像 需要在dockerhub选择适合自己系统的镜像。(镜像适配的系统不同) docker pull es镜像 配置配置文件 # es1 # 主master配置样例子 # 集群的名称 cluster.name: "docker-cluster" # 节点的名称 node.name: node-1 # 此节点是否可以用作master节点 node.master: true # 此节点是否是存储节点 node.data: false # 此节点是否是预处理节点 如果是master节点的话 建议这里是true
Docker 部署elasticsearch以及集群部署
a56546的博客
05-05 1693
安装elasticsearch 1.部署单点es 1.1.创建网络 因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络： docker network create es-net 1.2.加载镜像 这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。 可以使用已上传资源 https://download.csdn.net/download/a56546/85289132 大家将其上传到虚拟机中，然后
docker安装elasticsearch和kibana
03-25
1. 在docker中安装elasticsearch 命令：`docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.2` 解释： - `-d` 表示以后台模式运行容器 - `--name elasticsearch` 指定容器的名称为elasticsearch，可以自定义 - `-p 9200:9200 -p 9300:9300` 将容器内部的9200和9300端口映射到外部主机的9200和9300端口上，方便对外部访问 - `-e "discovery.type=single-node"` 设置elasticsearch的集群模式为单节点模式，方便快速安装 - `elasticsearch:7.6.2` 指定使用的elasticsearch镜像版本为7.6.2，可以根据需要选择其他版本 2. 在docker中安装kibana 命令：`docker run -d --name kibana --link elasticsearch:elasticsearch -p 5601:5601 kibana:7.6.2` 解释： - `-d` 表示以后台模式运行容器 - `--name kibana` 指定容器的名称为kibana，可以自定义 - `--link elasticsearch:elasticsearch` 将kibana容器与已经安装的elasticsearch容器链接起来 - `-p 5601:5601` 将容器内部的5601端口映射到外部主机的5601端口上，方便对外部访问 - `kibana:7.6.2` 指定使用的kibana镜像版本为7.6.2，可以根据需要选择其他版本 3. 访问kibana管理界面 在浏览器中输入`http://localhost:5601`即可访问kibana管理界面，使用elasticsearch的默认端口9200进行数据查询和管理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值