elasticsearch7.5.0 集群部署

最新推荐文章于 2024-02-19 02:12:51 发布
最新推荐文章于 2024-02-19 02:12:51 发布
阅读量642 收藏 1
点赞数 1
分类专栏： 开源工具 文章标签： elasticsearch centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abclzy2013/article/details/105456241
版权

本文改自 https://www.cnblogs.com/reblue520/p/12219116.html

JDK建议13版本

服务器服务系统ES版本
192.168.8.218node.master/node.datacentos7.3es7.5
192.168.8.219node.datacentos7.3es7.5
192.168.8.220node.datacentos7.3es7.5

服务器基础优化
Linux中，每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说，显然太小，通过修改/etc/security/limits.conf来增大打开最大句柄数和/etc/security/limits.d/20-nproc.conf 配置

#elk用户添加
groupadd -g 100 elk
useradd -u 100 -g elk elk

参数修改

echo "fs.file-max = 1000000" >> /etc/sysctl.conf
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
echo "vm.swappiness = 0" >> /etc/sysctl.conf
sysctl -p
sed -i 's/* soft nofile 65535/* soft nofile 655350/g' /etc/security/limits.conf
sed -i 's/* hard nofile 65535/* hard nofile 655350/g' /etc/security/limits.conf
sed -i 's#*          soft    nproc     4096##' /etc/security/limits.d/20-nproc.conf

#修改/etc/security/limits.d/20-nproc.conf
* soft memlock unlimited
* hard memlock unlimited

JDK建议13版本，文件下载存储:/home/elk

https://www.oracle.com/technetwork/java/javase/downloads/jdk13-downloads-5672538.html
JDK环境变量配置,每个节点都需要提前配置

export JAVA_HOME=/home/elk/jdk-13.0.2
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

集群配置
192.168.8.218 master配置

cd /home/elk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz
#解压
tar -xvf elasticsearch-7.5.0-linux-x86_64.tar.gz

新建日志、存储、备份目录

mkdir -p /home/elk/data && mkdir -p /home/elk/logs  && mkdir /home/elk/esback
chown -Rf elk.elk /home/elk

[elk@localhost elasticsearch-7.5.0]$ su -elk
[elk@localhost elasticsearch-7.5.0]$ cd /home/elk/elasticsearch-7.5.0/
[elk@localhost elasticsearch-7.5.0]$ cat config/elasticsearch.yml
# ======================== Elasticsearch Configuration =========================
cluster.name: fengyu
node.name: fengyu218
path.data: /home/elk/data
path.logs: /home/elk/logs
path.repo: ["/home/elk/esback"]
bootstrap.memory_lock: true
network.host: 192.168.8.218
http.port: 9200
transport.tcp.port: 9300
node.master: true
node.data: true
discovery.seed_hosts: ["192.168.8.218:9300", "192.168.8.219:9300", "192.168.8.220:9300"]
cluster.initial_master_nodes: ["192.168.8.218"]
gateway.recover_after_nodes: 2
transport.tcp.compress: true
# 以下配置可以减少当es节点短时间宕机或重启时shards重新分布带来的磁盘io读写浪费
discovery.zen.fd.ping_timeout: 300s
discovery.zen.fd.ping_retries: 8
discovery.zen.fd.ping_interval: 30s
discovery.zen.ping_timeout: 180s
#启动
./bin/elasticsearch
#PS:如果用root启动过一次，需要重新将elk目录重新赋权给elk。要不elk无法正常启动
#能看到端口起来就正常
[2020-04-13T19:46:41,471][INFO ][o.e.x.s.a.s.FileRolesStore] [fengyu218] parsed [0] roles from file [/home/elk/elasticsearch-7.5.0/config/roles.yml]
[2020-04-13T19:46:42,379][INFO ][o.e.x.m.p.l.CppLogMessageHandler] [fengyu218] [controller/7071] [Main.cc@110] controller (64 bit): Version 7.5.0 (Build 17d1c724ca38a1) Copyright (c) 2019 Elasticsearch BV
[2020-04-13T19:46:42,977][DEBUG][o.e.a.ActionModule       ] [fengyu218] Using REST wrapper from plugin org.elasticsearch.xpack.security.Security
[2020-04-13T19:46:43,100][INFO ][o.e.d.DiscoveryModule    ] [fengyu218] using discovery type [zen] and seed hosts providers [settings]
[2020-04-13T19:46:43,995][INFO ][o.e.n.Node               ] [fengyu218] initialized
[2020-04-13T19:46:43,996][INFO ][o.e.n.Node               ] [fengyu218] starting ...
[2020-04-13T19:46:44,108][INFO ][o.e.t.TransportService   ] [fengyu218] publish_address {192.168.8.218:9300}, bound_addresses {192.168.8.218:9300}
[2020-04-13T19:46:44,270][INFO ][o.e.b.BootstrapChecks    ] [fengyu218] bound or publishing to a non-loopback address, enforcing bootstrap checks
[2020-04-13T19:46:44,273][INFO ][o.e.c.c.Coordinator      ] [fengyu218] cluster UUID [upnpaUuXTDmqYoQGzXWGlw]
[2020-04-13T19:46:44,584][INFO ][o.e.c.s.MasterService    ] [fengyu218] elected-as-master ([1] nodes joined)[{fengyu218}{GKJ2npj9Rc-wQUvCm8W_Ow}{b-sp6dmTR0apAdmpBtjrOg}{192.168.8.218}{192.168.8.218:9300}{dilm}{ml.machine_memory=3975491584, xpack.installed=true, ml.max_open_jobs=20} elect leader, _BECOME_MASTER_TAS
_, _FINISH_ELECTION_], term: 2, version: 22, delta: master node changed {previous [], current [{fengyu218}{GKJ2npj9Rc-wQUvCm8W_Ow}{b-sp6dmTR0apAdmpBtjrOg}{192.168.8.218}{192.168.8.218:9300}{dilm}{ml.machine_memory=3975491584, xpack.installed=true, ml.max_open_jobs=20}]}

网页访问:http://192.168.8.218:9200/
在这里插入图片描述
node 192.168.8.219 配置

cd /home/elk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz
#解压
tar -xvf elasticsearch-7.5.0-linux-x86_64.tar.gz

新建日志、存储、备份目录

mkdir -p /home/elk/data && mkdir -p /home/elk/logs  && mkdir /home/elk/esback
chown -Rf elk.elk /home/elk

#更改elasticsearch.yml

[elk@localhost elasticsearch-7.5.0]$ cd /home/elk/elasticsearch-7.5.0
[elk@localhost elasticsearch-7.5.0]$ cat config/elasticsearch.yml 
cluster.name: fengyu
node.name: fengyu219
path.data: /home/elk/data
path.logs: /home/elk/logs
path.repo: ["/home/elk/esback"]
bootstrap.memory_lock: true
network.host: 192.168.8.219
http.port: 9200
transport.tcp.port: 9300
node.master: false
node.data: true
discovery.seed_hosts: ["192.168.8.218:9300", "192.168.8.219:9300", "192.168.8.220:9300"]
cluster.initial_master_nodes: ["192.168.8.218"]
gateway.recover_after_nodes: 2
transport.tcp.compress: true
# 以下配置可以减少当es节点短时间宕机或重启时shards重新分布带来的磁盘io读写浪费
discovery.zen.fd.ping_timeout: 300s
discovery.zen.fd.ping_retries: 8
discovery.zen.fd.ping_interval: 30s
discovery.zen.ping_timeout: 180s

启动

[root@localhost ~]# su - elk
Last login: Mon Apr 13 19:48:11 CST 2020 on pts/1
[elk@localhost ~]$ cd elasticsearch-7.5.0/
[elk@localhost elasticsearch-7.5.0]$ ./bin/elasticsearch
[2020-04-13T19:51:24,689][INFO ][o.e.t.TransportService   ] [fengyu219] publish_address {192.168.8.219:9300}, bound_addresses {192.168.8.219:9300}
[2020-04-13T19:51:24,853][INFO ][o.e.b.BootstrapChecks    ] [fengyu219] bound or publishing to a non-loopback address, enforcing bootstrap checks
[2020-04-13T19:51:24,856][INFO ][o.e.c.c.Coordinator      ] [fengyu219] cluster UUID [upnpaUuXTDmqYoQGzXWGlw]
[2020-04-13T19:51:26,065][INFO ][o.e.c.s.ClusterApplierService] [fengyu219] master node changed {previous [], current [{fengyu218}{GKJ2npj9Rc-wQUvCm8W_Ow}{b-sp6dmTR0apAdmpBtjrOg}{192.168.8.218}{192.168.8.218:9300}{dilm}{ml.machine_memory=3975491584, ml.max_open_jobs=20, xpack.installed=true}]}, added {{fengyu218}{
KJ2npj9Rc-wQUvCm8W_Ow}{b-sp6dmTR0apAdmpBtjrOg}{192.168.8.218}{192.168.8.218:9300}{dilm}{ml.machine_memory=3975491584, ml.max_open_jobs=20, xpack.installed=true}}, term: 2, version: 23, reason: ApplyCommitRequest{term=2, version=23, sourceNode={fengyu218}{GKJ2npj9Rc-wQUvCm8W_Ow}{b-sp6dmTR0apAdmpBtjrOg}{192.168.8.21}{192.168.8.218:9300}{dilm}{ml.machine_memory=3975491584, ml.max_open_jobs=20, xpack.installed=true}}[2020-04-13T19:51:26,123][INFO ][o.e.h.AbstractHttpServerTransport] [fengyu219] publish_address {192.168.8.219:9200}, bound_addresses {192.168.8.219:9200}
[2020-04-13T19:51:26,124][INFO ][o.e.n.Node               ] [fengyu219] started
[2020-04-13T19:51:26,370][INFO ][o.e.l.LicenseService     ] [fengyu219] license [7e965786-92b3-47c3-b8fc-b349c1c48d53] mode [basic] - valid
[2020-04-13T19:51:26,371][INFO ][o.e.x.s.s.SecurityStatusChangeListener] [fengyu219] Active license is now [BASIC]; Security is enabled

验证:
在这里插入图片描述

#同样的方式启动192.168.8.220，elasticsearch.yml配置

[elk@localhost elasticsearch-7.5.0]$ cat config/elasticsearch.yml 
cluster.name: fengyu
node.name: fengyu220
path.data: /home/elk/data
path.logs: /home/elk/logs
path.repo: ["/home/elk/esback"]
bootstrap.memory_lock: true
network.host: 192.168.8.220
http.port: 9200
transport.tcp.port: 9300
node.master: false
node.data: true
discovery.seed_hosts: ["192.168.8.218:9300", "192.168.8.219:9300", "192.168.8.220:9300"]
cluster.initial_master_nodes: ["192.168.8.218"]
gateway.recover_after_nodes: 2
transport.tcp.compress: true
# 以下配置可以减少当es节点短时间宕机或重启时shards重新分布带来的磁盘io读写浪费
discovery.zen.fd.ping_timeout: 300s
discovery.zen.fd.ping_retries: 8
discovery.zen.fd.ping_interval: 30s
discovery.zen.ping_timeout: 180s

启动后验证
在这里插入图片描述

集群状态验证，当status 为green时候，集群状态正常

[elk@localhost elasticsearch-7.5.0]$ curl -u elastic:jumeng123! http://192.168.8.218:9200/_cluster/health?pretty
{
  "cluster_name" : "fengyu",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 1,
  "active_shards" : 2,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

增加密码校验
在各个节点的elasticsearch.yml 最后增加

# 密码部分的配置最好等集群配置没有问题后再进行
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /home/elk/elasticsearch-7.5.0/config/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /home/elk/elasticsearch-7.5.0/config/elastic-certificates.p12

添加完以后不重启，制作证书

#必须用elk用户制作证书
[elk@localhost elasticsearch-7.5.0]$ ./bin/elasticsearch-certutil ca
Please enter the desired output file [elastic-stack-ca.p12]: #回车
Enter password for elastic-stack-ca.p12 : #回车
[elk@localhost elasticsearch-7.5.0]$ bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
#直接回车就好
[elk@localhost elasticsearch-7.5.0]$ cp elastic-certificates.p12 config/
#重启elasticsearch
[elk@localhost elasticsearch-7.5.0]$ pkill -9 -f elk
[elk@localhost elasticsearch-7.5.0]$ ./bin/elasticsearch
#如果此时无法启动，是证书制作有问题
#将证书一次传到其他的节点
[elk@localhost elasticsearch-7.5.0]$ for i in 192.168.8.219 192.168.8.220; do scp /home/elk/elasticsearch-7.5.0/config/elastic-certificates.p12 $i:/home/elk/elasticsearch-7.5.0/config; done
#依次重启其他节点
#获取集装状态
[elk@localhost elasticsearch-7.5.0]$ curl -u elastic:jumeng123! http://192.168.8.218:9200/_cluster/health?pretty
{
  "cluster_name" : "fengyu",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 1,
  "active_shards" : 2,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}
#密码初始化 输入你的密码
[elk@localhost elasticsearch-7.5.0]$ bin/elasticsearch-setup-passwords interactive
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y
Enter password for [elastic]: 
Reenter password for [elastic]: 
Enter password for [apm_system]: 
Reenter password for [apm_system]: 
Enter password for [kibana]: 
Reenter password for [kibana]: 
Enter password for [logstash_system]: 
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Enter password for [remote_monitoring_user]: 
Reenter password for [remote_monitoring_user]: 
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

配置后，后续访问elastaicsearch需要输入密码

在这里插入图片描述

abclzy2013
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch集群模式部署
06-30
学习总结资料
elk7.5.0 之 elasticsearch7.5.0 集群部署
qq_25934401的博客
12-09 2160
搭建最新版本的elasticsearch7.5 集群 环境 服务器 配置 服务 系统 es版本 10.100.12.144 16G 8core 500G磁盘 node.master/node.data CentOS 7.4 es7.5 10.100.12.145 16G 8core 500G磁盘 node.master/node.data CentOS 7.4 es7.5 ...
elasticsearch学习
dearand的博客
05-30 345
elasticsearch 1.环境 centos 7.7 jdk 1.8 2.安装 安装 坑，我默认安装在了root路径下，后面会提到这个问题 $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.0-linux-x86_64.tar.gz $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.0
10、全文检索 -- Elasticsearch -- 介绍、下载、安装、配置、开启权限认证、为 Elasticsearch 启用 SSL 和 HTTPS 支持
Java 领域技术分享
02-19 1213
全文检索 -- Elasticsearch -- 介绍、下载、安装、配置、开启权限认证、为 Elasticsearch 启用 SSL 和 HTTPS 支持
ElasticSearch集群入门
1.02^365=1377.41
06-18 1万+
一、下载与安装Elasticsearch 依赖 java,在安装 ES 之前首先要配好 java,这个默认我们的电 脑已经完成。 首先从 elasticsearch官网下载安装包,我们是 linux 系统,下载 tar 包比较方便。当前版本为2.3.3,下载地址：Elasticsearch 2.3.3下载 .下载完成之后解压tar文件：tar -zxvf elasticsearch-2.3.3.
elasticsearch 7.5集群部署
tizaitian的专栏
02-22 325
前提条件： 1. 已安装jdk1.8或以上版本； 2. 已下载安装包：elasticsearch-7.5.1-no-jdk-linux-x86_64.tar.gz; 3. 三台服务器:10.1.32.10, 10.1.32.11, 10.1.32.12, root权限。 步骤(以10.1.32.10为例)： 1. 修改系统配置。 a) 用户最大可创建文件数，编辑limits.conf配置文件： vi /etc/security/limits.conf 然后添加如下内容:...
ElasticSearch 7.5.1安装、集群搭建与注意事项
Yuan_Liqiang的博客
12-24 2634
ElasticSearch 7.5.1安装与集群搭建与注意事项 elasticsearch单节点安装（网上一大片） https://www.cnblogs.com/songfahzun/p/11094110.html 在elasticsearch的elasticsearch.yml 配置文件中添加： 保证elasticsearch相关插件可以连接到elasticsearch服务 #所有插件可...
基于docker-compose一键离线elasticsearch7.6.2集群部署工具
07-15
一键部署工具实现功能如下： 1、支持单节点部署 2、支持伪集群部署 3、支持分布式集群部署 ...5、支持集群名称、数据目录、...说明：工具使用非常简单，只需要修改变量文件，一分钟就可以快速帮你部署elasticsearch集群。
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
Elasticsearch集群部署.docx
07-30
本文档主要以Elasticsearch6.6.2为版本，以Centos7.6为操作系统，详细讲解了ES的集群部署和配置，该文档也支持其他ES其他版本部署配置。原创作者：永远的SSS
ElasticSearch6集群部署
01-11
ElasticSearch6集群部署，elasticsearch_head管理，基于CentOS7
CentOS7下Elasticsearch高可用集群方案-完整部署记录（个人珍藏版）
08-29
本篇文章详细记录了CentOS7下Elasticsearch高可用集群方案-完整部署过程，可作为线上长期的实操手册。特在此分享，希望能帮助到有用到的朋友。
elasticsearch7.5集群搭建_kibana.txt
03-08
elasticsearch7.5集群搭建_kibana
ElasticSearch 7.4集群部署
goodsirlee的博客
10-16 9647
2台机器，系统均为Centos 7.2,主节点IP为10.45.154.236,第二节点的IP为10.45.154.70，均为内网IP。 1.下载相关软件包 到官网上下载最新版本ElasticSearch 7.4,https://www.elastic.co/cn/downloads/elasticsearch 我选择的是RPM包 下载最新的JDK 13 https://www.oracle....
【重大好消息】elasticsearch 7.3版本已经可以免费使用x-pack就可以设置账号和密码了，让你的数据不再裸奔
热门推荐
大飞笔记（www.it100.site）
08-26 1万+
最近一直在搭建我们公司的搜索系统，用的是elasticsearch，原先用的版本比较老，所以打算升级下。 经过几天的研究发现elasticsearch 以前需要付费购买的x-pack部分功能，比如最重要的安全插件，已经不需要付费购买了，而是在默认的发布包中。官方给的消息是从6.8 和 7.1 开始默认提供。这对于那些裸奔在互联网的搜索服务来说，绝对是一个好消息。 配置起来也很简单。 第一步：...
ElasticSearch的基操和进阶查询
Young_深情不及里子的博客
03-18 2553
一，ElactisSearch简介 1. 定义 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 ES 是基于Lucene这个非常成熟的索引方案，另加上一些分布式的实现：集群，分片，复制等。 2. 优点 具备横向可扩展性：只需
【ES】Windows安装 Elasticsearch 教程
一个写了10年bug的程序员日常笔记。
08-17 838
Windows安装 Elasticsearch 教程
elasticsearch启动常见错误
11-22 1867
root用户启动es出现如下错误 [root@bigdata124 ~]# cd /opt/module/elasticsearch-5.6.2/ [root@bigdata124 elasticsearch-5.6.2]# ./bin/elasticsearch [2019-11-21T18:02:25,703][WARN ][o.e.b.ElasticsearchUncaughtExcep...
Elasticsearch集群状态的发布与应用
qq_27639777的博客
05-13 383
文章目录简介集群状态的发布二段提交总流程阶段一：发布过程阶段二：提交过程增量发布的实现原理集群状态的应用 简介 如果产生了新的集群状态，则主节点会把它广播到其他节点。主节点和其他节点的通信使用最广泛的方式，就是通过下发集群状态让从节点执行相应的处理。控制信息、变更信息都存储在集群状态中。 集群状态在ES中封装为ClusterState类。可以通过_cluster/state API来获取集群状态。 curl -X GET "localhost:9200/_cluster/state" 响应信息中提供了集群
Elasticsearch 8 集群部署文档
最新发布
04-19
以下是Elasticsearch 7.x集群部署的一般步骤： 1. 下载Elasticsearch：访问Elasticsearch官方网站（https://www.elastic.co/downloads/elasticsearch）下载适合您操作系统的版本。 2. 解压缩文件：将下载的压缩包...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

abclzy2013

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值