ElasticSearch 3节点集群搭建（ES7+Docker+Kibana）

最新推荐文章于 2024-02-25 14:42:21 发布
最新推荐文章于 2024-02-25 14:42:21 发布
阅读量1.6k 收藏 10
点赞数 2
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34125999/article/details/116267609
版权

1 环境准备

#节点
192.168.38.50  docker node1
192.168.38.51  docker node2
192.168.38.52  docker node3

192.168.38.53  docker kibana

2 前置环境

描述： 3台服务都要修改。

vim /etc/sysctl.conf
#fs.file-max主要是配置系统最大打开文件描述符数，建议修改为655360或者更高
fs.file-max=655360
#影响Java线程数量，用于限制一个进程可以拥有的VMA(虚拟内存区域)的大小
vm.max_map_count = 262144


vim /etc/security/limits.conf
#可打开的文件描述符的最大数(软限制)
* soft nofile 65536
#可打开的文件描述符的最大数(硬限制)
* hard nofile 65536
#单个用户可用的最大进程数量(软限制)
* soft nofile 65536
#单个用户可用的最大进程数量(硬限制)
* hard nofile 65536
#内存不限制
* soft memlock unlimited
* hard memlock unlimited


#centos7特有，修改软限制
vim /etc/security/limits.d/20-nproc.conf
*          soft    nproc     40960
#生效
sysctl -p

3 搭建集群

3.1 拉取镜像

#三节点
docker pull elasticsearch:7.6.1

3.2 创建目录

#三节点，创建数据、配置、日志、插件目录
mkdir -p /usr/local/elasticsearch/data && mkdir -p /usr/local/elasticsearch/config && mkdir -p /usr/local/elasticsearch/logs && mkdir -p /usr/local/elasticsearch/plugins

3.3 node1 配置文件

cd /usr/local/elasticsearch/config
vi elasticsearch.yml

# 设置集群名称，集群内所有节点的名称必须一致。
cluster.name: es-cluster
# 设置节点名称，集群内节点名称必须唯一。
node.name: node1
# 表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
# 当前节点是否用于存储数据，是：true、否：false
node.data: true
# 索引数据存放的位置
path.data: /usr/share/elasticsearch/data
# 日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
# 需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
# 监听地址，用于访问该es
network.host: 192.168.38.50
# es对外提供的http端口，默认 9200
http.port: 9200
# TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
# 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
# es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
# es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
# 是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
# “*” 表示支持所有域名
http.cors.allow-origin: "*"

3.4 node2 配置文件

cd /usr/local/elasticsearch/config
vi elasticsearch.yml

# 设置集群名称，集群内所有节点的名称必须一致。
cluster.name: es-cluster
# 设置节点名称，集群内节点名称必须唯一。
node.name: node2
# 表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
# 当前节点是否用于存储数据，是：true、否：false
node.data: true
# 索引数据存放的位置
path.data: /usr/share/elasticsearch/data
# 日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
# 需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
# 监听地址，用于访问该es
network.host: 192.168.38.51
# es对外提供的http端口，默认 9200
http.port: 9200
# TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
# 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
# es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
# es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
# 是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
# “*” 表示支持所有域名
http.cors.allow-origin: "*"

3.5 node3 配置文件

cd /usr/local/elasticsearch/config
vi elasticsearch.yml

# 设置集群名称，集群内所有节点的名称必须一致。
cluster.name: es-cluster
# 设置节点名称，集群内节点名称必须唯一。
node.name: node3
# 表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
# 当前节点是否用于存储数据，是：true、否：false
node.data: true
# 索引数据存放的位置
path.data: /usr/share/elasticsearch/data
# 日志文件存放的位置
path.logs: /usr/share/elasticsearch/logs
# 需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false
# 监听地址，用于访问该es
network.host: 192.168.38.52
# es对外提供的http端口，默认 9200
http.port: 9200
# TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
# 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes: 1
# es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
# es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["192.168.38.50:9300", "192.168.38.51:9300","192.168.38.52:9300"]
# 是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.enabled: true
# “*” 表示支持所有域名
http.cors.allow-origin: "*"

3.6 启动

#三台节点
docker run  -d  --network=host --privileged=true  \
-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m"  \
-e TAKE_FILE_OWNERSHIP=true --name es \
-v /usr/local/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /usr/local/elasticsearch/data:/usr/share/elasticsearch/data \
-v /usr/local/elasticsearch/logs:/usr/share/elasticsearch/logs \
-v /usr/local/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
elasticsearch:7.6.1

3.7 head 插件

docker run -d --name es-head -p 9100:9100 mobz/elasticsearch-head:5

在这里插入图片描述

3.8 Kibana

描述： 192.168.38.53节点搭建kibana连接ES集群。

#拉取镜像
docker pull kibana:7.6.1

#创建配置文件
mkdir -p /usr/local/kibana/config
vi kibana.yml

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://192.168.38.50:9200","http://192.168.38.51:9200","http://192.168.38.52:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true

#启动命令
docker run --name kibana -v /usr/local/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml -p 5601:5601 -d kibana:7.6.1

在这里插入图片描述

响彻天堂丶
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
高可用elasticsearch集群搭建
lmj3732018的博客
11-23 1万+
Elasticsearch（简称为ES）是一个开源的分布式搜索和分析引擎，构建在Apache Lucene搜索引擎库之上。它提供了一个强大的全文搜索和实时分析功能，适用于大规模的数据存储、检索和分析。
Docker-compose一键部署三台Elasticsearch+kibana集群（kibana可摘离）
K_sheep的博客
08-18 1484
Docker-compose一键部署三台Elasticsearch+kibana集群（kibana可摘离）
Elasticsearch三节点集群搭建
weixin_41907960的博客
11-18 1332
Elasticsearch三节点集群搭建 1、Elasticsearch简介 Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。 2、Elasticsearch cluster 搭建 本文采用了三服务器节点，进行集群搭建（采用elasticsearch6.8版本） 172.29.136.30 172.29.136.31 192.29.136.32 其中30节点作为master-eligible部署,(考虑部分节点不可用，或者因为网络原因引发脑裂导致服务不可用，建
【ES专题】ElasticSearch集群架构剖析
qq_32681589的博客
11-05 3329
使用何种通信协议去同步数据，互相通信采用何种策略同步数据（异步还是同步）如何保证一致性，保证到什么程度（【最终一致性】 or【实时一致性 / 强一致性】）使用何种算法去选举主次节点（感觉这个比较随意，通常为了快速恢复服务，选举流程是怎么快怎么来，但是不能出现【脑裂问题】）
Linux系统搭建ElasticSearch集群详细教程
最新发布
Mr_hwt_123的博客
02-25 3099
ElasticSearch简称es(下文均称为es)，是一款由java语言开发的强大且灵活的搜索和分析引擎，本文记录基于es7.17版本的es集群搭建及配置详细步骤。
elasticsearch(一)docker多机部署elasticsearch集群及elk搭建(7.4.2)
weixin_43165212的博客
02-04 2461
@TOC 前言 本篇为elasticseach系列片第一章,大家一起先把es的环境搭建起来,有需要elk整合方式的见文章最后部分 搭建es集群 1 docker run -d --name es01 -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms4g -Xmx4g" -v /opt/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /opt/es.
skywalking+es7+nacos+ik+kibana
07-11
2. **Elasticsearch (ES7)**：Elasticsearch 是一个实时分布式搜索和分析引擎，常用于日志聚合和分析。ES7 指的是它的第七个大版本，提供了更高效的数据处理和更丰富的功能。在 SkyWalking 中，Elasticsearch 作为...
Elasticsearch6.7.0 3nodes 集群+Kibana docker环境
04-11
用docker-compose.yml 的Elasticsearch6.7.0 3节点的集群环境，包括analysis-ik。 使用方法： 启动： cd Elasticsearch/compose docker-compose up -d 停止： docker-compose down
docker 运行 elasticsearch + kibana + head 集群
01-07
巨坑提醒：ES和kibana的版本尽可能的保证一致，否则要去修改很多配置信息，而且不一定能安装成功，现象：ES安装成功了但是kibana链接到ES报错：Elasticsearch plugin is red ElasticSearch安装 Elasticsearch 是个...
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
ehkd:带有Symfony应用程序的Elasticsearch + Heka + Kibana + Docker
05-13
埃克 带有Symfony应用程序的Elasticsearch + Heka + Kibana + Docker 克隆此仓库，然后运行： docker-compose up -d
docker安装es集群（三台）
P_Doraemon的博客
07-10 856
discovery.zen.minimum_master_nodes=2#本次没有配置这项，因为在最新版7.x中， minimum_master_node 这个参数已经被移除了，这一块内容完全由es自身去管理，这样就避免了脑裂的问题，选举也会非常快。需要注意的是discovery.zen.ping.unicast.hosts参数和discovery.seed_hosts参数不能同时配置，新旧版本问题。bootstrap.memory_lock: true，以保持 JVM 锁定内存，保证 ES 的性能。
【docker专题_01】docker搭建elasticsearch集群 -
weixin_40736233的博客
10-19 339
docker搭建elasticsearch集群
Elasticsearch 3 节点集群搭建 (7.9.0)
DevOps 教练
08-27 1349
最近发布的 Elastic Stack 7.9 ，带来了很多新的特性。Elastic Agent 统一集成数据采集代理是一大亮点。另外还看增加了企业搜索、端点安全防护等组件。Ingest Manager 统一 Beat 配置管理功能让我们向 SaaS 风格的监控工具又迈进了一步。由代理端自行注册到后端，在后端统一纳管所有被管理服务器，将是一种以后非常通用的模式。这样做的好处是：将数据采集端点的配置工作量和复杂度降低到最低。Beats 的各种相关独立模块也在平行的发布，这种双轨模式也可以让用户更弹性的做出选择
ElasticSearch三节点集群搭建笔记（中心化版本，linux应用开发面试
m0_69377236的博客
04-12 243
一、前言 长文警告，事实上我不愿意写太长的文章，一面是太冗余，一方面读者容易疲倦，但是只要是涉及到源码级别的，就肯定篇幅不短，因为太短肯定没意义也解释不清楚，但是相信，耐心看完这个文章一定会对Spring源码有所收获！ 最近有很多读者面试的时候都被问到了有关于Spring三级缓存的解决方案，很多读者在面试受挫之后，试着自己去读源码，试着去跟断点又发现一层套一层，一会自己就懵了，我这几天总结了一下，为了能够让读者更加的去了解Spring解决循环依赖问题，我决定从以下四个方面去讲述： 什么是循环依赖 如果
docker部署3节点Elasticsearch8.4.0集群
id_wxq的博客
09-19 1454
docker部署3节点Elasticsearch8.4.0集群
ElasticSearch 集群
wssboke的博客
07-15 799
一、ElasticSearch 集群 1.1 搭建集群 Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无法获取集群中的节点信息。 由于，我们使用只有一台虚拟机，所以我们在虚拟机中安装三个ES实例，搭建伪集群，而ES启动比较耗内存，所以先设置虚拟机的内存3G和CPU个数4个
Elasticsearch7.17 四 : ElasticSearch集群架构
huaxinzhang的博客
05-19 956
Elasticsearch7.17 四 : ElasticSearch集群架构
ES(ElasticSearch)搭建3节点(云服务器)ELK集群及插件安装
记录日常开发过程中遇到的一些问题
03-29 2065
概述： 三台云服务器分别是腾讯云、华为云、阿里云。搭建集群过程中，需要在安全组中开放三台云服务的9200、9300、9100、5601端口。 1、安装java： #安装szrz命令： yum install -y lrzsz chmod 755 /root/packages/jdk-8u201-linux-x64.rpm rpm -ivh /root/packages/j...
docker安装es+kibana
04-05
以下是在Docker上安装Elasticsearch和Kibana的步骤： 1. 安装Docker和Docker Compose 2. 创建一个文件夹并在其中创建一个名为docker-compose.yml的文件 3. 在docker-compose.yml文件中添加以下内容： ``` version: '3' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.1 container_name: es01 environment: - node.name=es01 - discovery.seed_hosts=es02 - cluster.initial_master_nodes=es01,es02 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - esdata01:/usr/share/elasticsearch/data ports: - 9200:9200 networks: - esnet es02: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.1 container_name: es02 environment: - node.name=es02 - discovery.seed_hosts=es01 - cluster.initial_master_nodes=es01,es02 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - esdata02:/usr/share/elasticsearch/data networks: - esnet kibana: image: docker.elastic.co/kibana/kibana:7.15.1 container_name: kibana environment: ELASTICSEARCH_URL: http://es01:9200 ports: - 5601:5601 networks: - esnet volumes: esdata01: driver: local esdata02: driver: local networks: esnet: ``` 4. 保存并关闭文件 5. 在终端中导航到该文件夹并运行以下命令： ``` docker-compose up -d ``` 6. 等待一段时间，直到所有容器都启动并运行 7. 打开浏览器并输入以下地址来访问Kibana： ``` http://localhost:5601 ``` 8. 你现在可以开始使用Elasticsearch和Kibana进行数据分析和可视化了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

响彻天堂丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值