Es三节点+vip集群搭建部署方案

最新推荐文章于 2024-04-30 09:02:12 发布
最新推荐文章于 2024-04-30 09:02:12 发布
阅读量1.8k 收藏 23
点赞数 15
文章标签： elasticsearch jenkins 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/UserFrank/article/details/135224447
版权

线上环境Es三节点集群搭建部署方案

1. 目标

  1. Es 集群架构图

!在这里插入图片描述

2. 搭建步骤

  • 官网教程： https://elasticsearch.bookhub.tech/set_up_elasticsearch/installing_elasticsearch/

  1. 确定 Es 安装目录

机器名内网IPEs 版本重点目录
es-node01192.18.233.2407.15.1安装目录： /home/work/elasticsearch/ 数据目录： /mnt/es/esdata 快照仓库： /mnt/es/snapshot 日志目录： /mnt/logs/eslogs
es-node02192.18.233.229
es-node03192.18.233.230

  1. 下载地址

  • es下载:
    • https://mirrors.huaweicloud.com/elasticsearch/
    • 目前Es8.x 处于开发阶段， 目前最新的稳定版本是 Elasticsearch 7.15.1
      • https://mirrors.huaweicloud.com/elasticsearch/7.15.1/elasticsearch-7.15.1-linux-x86_64.tar.gz
  • kibana下载：
    • https://mirrors.huaweicloud.com/kibana/

  1. 下载安装

# 下载，解压即可
cd /home/work/elasticsearch
wget https://mirrors.huaweicloud.com/elasticsearch/7.15.1/elasticsearch-7.15.1-linux-x86_64.tar.gz
# 解压
tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz
  • 解压后的文件目录结构
    • 在这里插入图片描述

  1. 初始化Es用户

#创建账号esadmin
useradd esadmin

#初始化密码
passwd esadmin
es1#user

#对esadmin授权目录
chown -R esadmin /home/work/elasticsearch/
chown -R esadmin /mnt/es/esdata
chown -R esadmin /mnt/logs/eslogs
chown -R esadmin /mnt/es/snapshot

chmod 777 /home/work/

  1. 修改Es配置文件(必要的重点设置项)

  • 官方参考：
    • https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/
    • 重点配置设置：
      • https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/import_elasticsearch_configuration
      • 在生产中，我们强烈建议你设置 elasticsearch.yml 中的 path.data 和 path.logs 在 $ES_HOME 之外的位置。
      • 断路器设置： https://elasticsearch.bookhub.tech/set_up_elasticsearch/configuring_elasticsearch/circuit_breaker_settings
    • Elasticsearch有三个配置文件：（这些文件位于 config 目录中）
      • elasticsearch.yml 用于配置 Elasticsearch
      • jvm.options 用于配置 Elasticsearch JVM 设置
      • log4j2.properties 用于配置 Elasticsearch 日志记录
  • 示例如下： 以 node01(192.18.233.240) 为例，其他节点中可以直接复用这个配置，只修改

    • node.name 值即可。

    • elasticsearch.yml

      • # 备份默认的配置文件
mv elasticsearch.yml elasticsearch.yml-bak
# 编辑一个新文件
vi elasticsearch.yml

# 集群名
cluster.name: es-cluster-prod
# 节点名称
node.name: es-node01

## 下面的配置项其他节点都统一内容##

# HTTP端口
http.port: 9200
# Transport TCP端口
transport.tcp.port: 9300

# 数据存储路径
path.data: /mnt/es/esdata
# 设置快照仓库目录
path.repo: ["/mnt/es/snapshot"]
# 日志存储路径（将影响默认的执行日志，gc日志，致命错误日志的输出目录）
path.logs: /mnt/logs/eslogs

# 监听地址
network.host: 0.0.0.0
# 设置提供群集中其他节点的列表，这些节点具有选主资格
discovery.seed_hosts: ["172.18.233.240:9300", "172.18.233.229:9300", "172.18.233.230:9300"]
# 初始主节点列表
cluster.initial_master_nodes: ["es-node01", "es-node02", "es-node03"]

# 每隔多长时间ping一个node
discovery.zen.fd.ping_interval: 30s
# 每次ping的超时时间
discovery.zen.fd.ping_timeout: 120s
# 一个node被ping多少次失败就认为是故障了
discovery.zen.fd.ping_retries: 6

# 集群脑裂问题参数配置
# elasticsearch则可以配置返回消息的节点数量, 一般情况下会配置(n/2 + 1)个节点
# 注意：discovery.zen.minimum_master_nodes 已经在Elasticsearch 7.x中被废弃
# 请使用 cluster.initial_master_nodes 参数来指定初始主节点列表

# 节点角色设置（默认就是启用的）
node.ingest: true

# HTTP跨域设置
http.cors.enabled: true
http.cors.allow-origin: "*"

    • vi jvm.options

      • 官方建议： 默认情况下，Elasticsearch 根据节点的角色和总内存自动设置 JVM 堆大小。我们建议大多数生产环境使用默认大小。
      • cp jvm.options jvm.options-bak

vim jvm.options
# 限制最大堆3GB
-Xms3g
-Xmx3g

# 默认的HeapDumpPath是输出到安装目录的,因此可以修改。
-XX:HeapDumpPath=/mnt/logs/eslogs/heapdump

# 致命错误日志
#-XX:ErrorFile=logs/hs_err_pid%p.log
-XX:ErrorFile=/mnt/logs/eslogs/hs_err_pid%p.log

# JDK 8 GC 日志
#8:-Xloggc:logs/gc.log
8:-Xloggc:/mnt/logs/eslogs/gc.log

# JDK 9 GC 日志
# 将 file=logs/gc.log 改成 file=/mnt/logs/eslogs/gc.log
#9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
9-:-Xlog:gc*,gc+age=trace,safepoint:file=/mnt/logs/eslogs/gc.log:utctime,pid,tags:filecount=32,filesize=64m

  1. 修改系统设置

  2. 在 /etc/sysctl.conf 中添加

# 临时设置临时增加 vm.max_map_count 参数的值：
sysctl -w vm.max_map_count=262144

# 永久设置
vim /etc/sysctl.conf 
vm.max_map_count=655360

# 保存后执行这个生效
sysctl -p
  1. 修改 /etc/security/limits.conf
vim /etc/security/limits.conf

esadmin  soft nofile 65536
esadmin  hard nofile 131072
esadmin  soft nproc 4096
esadmin  hard nproc 4096

# 保存退出后，重新登录 esadmin 用户检查效果
 ulimit -a

  1. 启动

# 进入安装目录
cd /home/work/elasticsearch/elasticsearch-7.15.1/bin

#切换账号
su esadmin

#后台启动命令
./elasticsearch -d

# 启动成功后，验证
curl
  • 如果用 esadmin 用户启动时报错 AccessDeniedException: /home/work/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.keystore 。 这个是因为 elasticsearch.keystore 文件默认是启动后才创建的，因此重新设置下文件权限即可 
    • sudo chmod -R 755 /home/work/elasticsearch/elasticsearch-7.15.1/config/
  • 如果启动时报错提示 could not find java in bundled JDK at xxxx
    • 解决方案1： elasticsearch 7系列版本以上都是自带的jdk,可以在es的bin目录下找到 elasticsearch-env.bat 这个文件，配置es的jdk。官方推荐使用es自带的jdk。

      • warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME

      • sudo vi /etc/profile
export ES_JAVA_HOME=/home/work/elasticsearch/elasticsearch-7.15.1/jdk
source /etc/profile
    • 解决方案2： 使用系统安装的JDK
    • 首先，确认已经安装了 Java。可以通过运行以下命令来检查 Java 是否已经安装：
java -version
如果 Java 尚未安装，请使用以下命令安装 OpenJDK：
sudo yum install java-1.8.0-openjdk-devel

打开终端，并使用以下命令编辑 /etc/profile 文件：
sudo vi /etc/profile

在文件的末尾添加以下行，设置 JAVA_HOME 环境变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin

# 保存并关闭文件。然后，运行以下命令使更改生效：
source /etc/profile
最后，可以通过运行以下命令来验证 JAVA_HOME 是否已正确设置：
echo $JAVA_HOME
  • 三个节点都启动后，检查搭建结果 
    • [root@iZwz9iqrw0w0p7ry2a8597Z ~]#
[root@iZwz9iqrw0w0p7ry2a8597Z ~]# curl -XGET 'localhost:9200/_cat/health?v&pretty'
epoch      timestamp cluster         status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1701780738 12:52:18  es-cluster-prod green           3         3      2   1    0    0        0             0                  -                100.0%

[root@iZwz9iqrw0w0p7ry2a8597Z ~]# curl -XGET 'localhost:9200/_cat/nodes?v&pretty'
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
172.18.233.229            6          87   5    0.07    0.27     0.21 cdfhilmrstw -      es-node02
172.18.233.230            7          86   4    0.05    0.21     0.19 cdfhilmrstw -      es-node03
172.18.233.240           23          60   4    0.03    0.19     0.17 cdfhilmrstw *      es-node01

  1. 阿里云内网SLB配置

  2. 创建一个内网SLB

  3. 配置SLB，指向我们部署的三个ES服务节点

  4. 微服务直接使用内网SLB的域名来代理ES的访问

附录

  1. 日常运维注意

  2. 关于数据目录的管理

    1. 不要修改数据目录中的任何内容或运行可能会干扰其内容的进程。如果 Elasticsearch 以外的其他内容修改了数据目录的内容，则 Elasticsearch 可能会失败，报告损坏或其他数据不一致，或者可能在默默丢失部分数据后正常工作。不要尝试对数据目录进行文件系统备份；不支持还原此类备份的方法。相反，请使用快照和还原来安全地进行备份。不要在数据目录上运行病毒扫描程序。病毒扫描程序可能会阻止 Elasticsearch 正常工作，并可能会修改数据目录的内容。数据目录不包含可执行文件，因此病毒扫描只会发现误报。

  3. 多数据路径在 7.13 中已被弃用，并将在未来版本中删除。

    1. 如果需要额外的磁盘空间，建议你添加新节点，而不是其他数据路径。
大雪冬至
关注
  • 15
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch三节点集群搭建
weixin_41907960的博客
11-18 1324
Elasticsearch三节点集群搭建 1、Elasticsearch简介 Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。 2、Elasticsearch cluster 搭建 本文采用了三服务器节点，进行集群搭建（采用elasticsearch6.8版本） 172.29.136.30 172.29.136.31 192.29.136.32 其中30节点作为master-eligible部署,(考虑部分节点不可用，或者因为网络原因引发脑裂导致服务不可用，建
详解ElasticSearch6.4.0集群搭建
08-26
主要介绍了详解ElasticSearch6.4.0集群搭建，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
elasticsearch生产集群部署-3个节点集群部署
热门推荐
江勇的博客
09-19 1万+
1、在三个节点上都下载es 如果要安装es，首先就要从官网elastic.co/downloads/elasticsearch下载es的安装包，并且最新es版本要求有JDK 8以上的版本。 es安装包的目录结构大致如下： bin：存放es的一些可执行脚本，比如用于启动进程的elasticsearch命令，以及用于安装插件的elasticsearch-plugin插件 conf：用于存放es的...
Elasticsearch集群部署
最新发布
虫虫的博客
04-30 1075
保姆级Elasticsearch集群部署指导
centos elasticsearch 7.6.2 三节点集群部署
weixin_60264256的博客
03-15 443
注：此步骤开始后面都使用非root用户执行，可新增elastic用户。#后台执行，-d 命令没法后台启动，不知道为啥。#使用vi编辑配置文件，没有则新建。浏览器任意节点+9200端口访问。#在文件末尾增加以下两行后保存。
ES(ElasticSearch)搭建3节点(云服务器)ELK集群及插件安装
记录日常开发过程中遇到的一些问题
03-29 2058
概述： 三台云服务器分别是腾讯云、华为云、阿里云。搭建集群过程中，需要在安全组中开放三台云服务的9200、9300、9100、5601端口。 1、安装java： #安装szrz命令： yum install -y lrzsz chmod 755 /root/packages/jdk-8u201-linux-x64.rpm rpm -ivh /root/packages/j...
ES 3节点部署step by step
log4jc的博客
10-24 473
以下是进入elasticsearch-7.16.3目录后的操作，当然elasticsearch-7.16.3是要在es账号下有权限的。假设有192.168.1.1、192.168.1.2、192.168.1.3三台服务器，以下步骤要在三台集群上都要配置。在开始部署前需要先下载一下elasticsearch&ik分词器。
华为云contos7系统部署ES集群--3个主节点
wdquan19851029的专栏
01-20 5146
一、集群部署 1.ES集群的基本核心概念 Cluster集群 　　一个ElasticSearch集群由一个或多个节点(Node)组成，每个集群都有一个共同的集群名称作为标识。Node节点 　　一个ElasticSearch实例即一个Node，一台机器可以有多个实例，正常使用下每个实例应该会部署在不同机器上。ElasticSearch的配置文件中可以通过node.master、node.data来设置节点类型。 node.master：表示节点是否具有成为主节点的资格 true代表的是有资格竞选主节点
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
CentOS7下搭建多节点Elasticsearch集群.docx
10-26
CentOS7 下搭建多节点 Elasticsearch 集群 ...CentOS7 下搭建多节点 Elasticsearch 集群需要考虑到集群架构、安装和配置、配置文件、插件、Filebeat 和 Logstash、多节点的优势和部署、监控等多个方面。
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
elasticsearch 集群主节点与子节点配置文件
03-05
http.cors.enabled: true http.cors.allow-origin: "*" # 集群的名称 cluster.name: rick # 节点名称 node.name: rick node.master: true node.data: false network.bind_host: 192.168.1.24 network.host: 192.168.1.25 http.port: 9200 transport.tcp.port: 9300 discovery.zen.ping.unicast.hosts: ["192.168.1.24","192.168.1.44","192.168.1.62","192.168.1.19"]
elasticsearch3台服务器集群
02-27
根据研究和咨询公司大佬 本人搭建的生产环境运行的es集群配置文件，版本6.5.4，操作系统是CentOS7.6 3台es做成的集群，亲测可用。 只需要更改集群名称和每台节点的名称即可使用。
elasticsearch主节点搭建1
08-08
在这个场景中，我们专注于搭建一个由三个主节点组成的Elasticsearch集群，以实现高可用性和数据可靠性。 首先，我们要确保基础环境已经配置了Java环境。这里推荐使用JDK 8，因为Elasticsearch 5.5.2版本需要它作为...
ElasticSearch三节点集群搭建笔记（中心化版本）
枫枫的抽屉
10-19 2906
一、规划 节点名 IP 操作系统 软件版本 HTTP端口 转发端口 es1 192.168.122.128 Manjaro 20.3 ElasticSearch7.3 9200 9300 es2 192.168.122.130 CentOS 7.4 ElasticSearch7.3 9200 9300 es3 192.168.122.131 CentOS 7.4 ElasticSearch7.3 9200 9300 二、配置文件 es1 # -------------------
es 7.6 集群三节点安装
一名数据库爱好者的专栏
05-19 855
os: centos 7.4.1708 es: 7.6.2 三节点的es 192.168.56.121 n1 192.168.56.122 n2 192.168.56.123 n3 os 设置 参考<<centos 7.x 安装 elasticsearch(es) 的优化设置>> es 参数文件 参考<<es 集群节点配置文件>> es 软件安装 参考<<es 6.3 安装>> 状态查看 $ curl -X GET 'http
ES生产集群部署之部署3个ES 5.5节点以及zen discovery集群发现机制
06-05 954
生产环境集群部署 一点一点讲解的，生产环境去部署的时候，涉及到很多的配置，还有牵扯到了很多的es的知识点 我们先下载es 5.5（7月6号为止）的压缩包，部署到3个节点上面去，但是不启动，因为我们接下来要花费很多讲的时间来讲解各种生产环境的参数的配置 es模拟生产环境的3节点的集群给启动起来，停止es进程，curl，kibana 1、在三个节点上都下载es 如果要安装es，首先就要从官网下载es的安装包，并且最新es版本要求有JDK 8以上的版本 es安装包的目录结构大致如下： bin：存放.
如何给集群设置VIP（虚拟IP）
qq_41833549的博客
08-20 6635
设置集群VIP环境准备配置VIP安装 keepalived配置文件 keepalived.conf启动 keepalived 服务 前言 最近在搭建PostgreSQL集群时，因为设置VIP的这个问题，跌入了很多坑，遇见了很多问题。在网上查找了一些资料，又结合自己的实践，决定自己总结写一篇关于设置集群VIP的博客。 环境准备 集群 IP部署 IP host 操作系统 VIP 172.16.30.181 master CentOS 7.6 172.16.30.183 172.16.30.1
Elasticsearch集群部署详解
qq_43279371的博客
08-30 2123
目录: 1、Elasticsearch 特性 2、Elasticsearch 单节点安装部署 3、Elasticsearch 集群安装部署 4、附件&&问题集合 Elasticsearch功能与特性： （1）分布式搜索和分析引擎 （2）全文检索，结构化检索，数据分析 （3）对海量数据进行近实时的处理 分布式：ES自动可以将海量数据分散到多台服务器上存储和检索 海量数据的处理：分布式后，可采用大量的服务器存储和检索数据，从而实现海量数据的处理 近实时：在秒级别对数据进行搜索和分析 软件获取链
elk5.6集群搭建部署
01-31
ELK是指Elasticsearch、Logstash和Kibana三个开源工具的组合。它们共同构成了一个强大的日志分析解决方案。 首先，我们需要搭建Elasticsearch集群。Elasticsearch是一款面向大规模数据的分布式搜索和分析引擎。我们可以通过下载并解压Elasticsearch的安装包，然后配置集群的名称和节点信息。每个节点都需要有唯一的名称，并配置相同的集群名称。接下来，我们可以启动节点并监控集群状态。 接下来，我们需要安装Logstash来收集、处理和转发日志数据。Logstash是一个灵活的日志记录和数据处理工具。我们可以编辑Logstash的配置文件，指定数据的输入源、过滤器和输出目标。配置完成后，我们可以启动Logstash，并查看数据的导入和处理情况。 最后，我们需要安装Kibana来可视化和分析我们的日志数据。Kibana提供了一个友好的Web界面，可以快速生成各种图表和仪表盘来展示数据。我们可以编辑Kibana的配置文件，指定Elasticsearch的地址和端口。然后启动Kibana，并通过浏览器访问Kibana的管理界面。 总结起来，ELK5.6集群的搭建部署过程包括安装、配置和启动Elasticsearch、Logstash和Kibana。通过这个集群，我们可以实现实时的日志收集、处理和可视化分析，为我们的日志管理工作提供了很大的便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值