ElasticSearch 的集群部署环境搭建

于 2024-08-26 12:12:47 发布
阅读量499 收藏 9
点赞数 22
文章标签： elasticsearch java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaMov/article/details/141558180
版权

一、摘要

        ElasticSearch 是一个开源的 分布式、RESTful 的 搜索和分析引擎 ，可以用来解决使用数据库进行模糊搜索时存在的性能问题，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据

        ElasticSearch 使用 Java 语言开发，基于 Lucence 。ES 早期版本需要 JDK，在 7.X 版本后已经集成了 JDK，已无需第三方依赖。

  • Lucene 是什么？
  • Lucene 是一个 Java 语言编写的高性能、全功能的文本搜索引擎库，提供强大的索引和搜索功能，以及拼写检查、高亮显示和高级分析功能。

二、集群环境准备

地址主机名称CPU内存磁盘角色说明
10.0.0.151elk151.edu.com2C4G50G+ES node
10.0.0.152elk152.edu.com2C4G50G+ES node
10.0.0.153elk153.edu.com2C4G50G+ES node

（一）根据主机10.0.0.151配置10.0.0.152主机和10.0.0.153主机

参考文章：ElasticSearch 的单点部署环境搭建

（二）验证10.0.0.152主机和10.0.0.153主机环境配置成功

1.验证10.0.0.152主机配置成功
[root@elk152 ~]# systemctl restart elasticsearch.service
[root@elk152 ~]# ss -tnl
State      Recv-Q Send-Q                           Local Address:Port                                          Peer Address:Port              
LISTEN     0      128                                          *:22                                                       *:*                  
LISTEN     0      100                                  127.0.0.1:25                                                       *:*                  
LISTEN     0      128                                       [::]:9300                                                  [::]:*                  
LISTEN     0      128                                       [::]:22                                                    [::]:*                  
LISTEN     0      100                                      [::1]:25                                                    [::]:*                  
LISTEN     0      128                                       [::]:9200                                                  [::]:*                  
[root@elk152 ~]#
2.验证10.0.0.153主机配置成功

[root@elk153 ~]# systemctl restart elasticsearch.service
[root@elk153 ~]# systemctl status elasticsearch.service
● elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled)
   Active: active (running) since 一 2024-08-26 11:11:05 CST; 1min 45s ago
     Docs: https://www.elastic.co
 Main PID: 1931 (java)
   CGroup: /system.slice/elasticsearch.service
           ├─1931 /usr/share/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=...
           └─2130 /usr/share/elasticsearch/modules/x-pack-ml/platform/linux-x86_64/bin/controller

8月 26 11:10:40 elk153.oldboyedu.com systemd[1]: Starting Elasticsearch...
8月 26 11:11:05 elk153.oldboyedu.com systemd[1]: Started Elasticsearch.
[root@elk153 ~]# ss -tnl
State      Recv-Q Send-Q                           Local Address:Port                                          Peer Address:Port              
LISTEN     0      128                                          *:22                                                       *:*                  
LISTEN     0      100                                  127.0.0.1:25                                                       *:*                  
LISTEN     0      128                                       [::]:9200                                                  [::]:*                  
LISTEN     0      128                                       [::]:9300                                                  [::]:*                  
LISTEN     0      128                                       [::]:22                                                    [::]:*                  
LISTEN     0      100                                      [::1]:25                                                    [::]:*                  
[root@elk153 ~]#
3.验证三台主机互访成功
[root@elk153 ~]# curl 10.0.0.153:9200
{
  "name" : "elk153.edu.com",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "-MNtOCrjRaa-4zG0J-4Omg",
  "version" : {
    "number" : "7.17.5",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "8d61b4f7ddf931f219e3745f295ed2bbc50c8e84",
    "build_date" : "2022-06-23T21:57:28.736740635Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[root@elk153 ~]#

 

[root@elk151 ~]# curl 10.0.0.152:9200
{
  "name" : "elk152.edu.com",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "Zw1zXmO7RjubZ2G-C5Ks5A",
  "version" : {
    "number" : "7.17.5",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "8d61b4f7ddf931f219e3745f295ed2bbc50c8e84",
    "build_date" : "2022-06-23T21:57:28.736740635Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[root@elk151 ~]#

三、开始配置集群环境

（一）elk151.edu.com做数据清空

[root@elk151 ~]# systemctl stop elasticsearch.service
[root@elk151 ~]# systemctl status elasticsearch.service
● elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled)
   Active: inactive (dead)
     Docs: https://www.elastic.co

8月 26 10:01:23 elk151.oldboyedu.com systemd[1]: Starting Elasticsearch...
8月 26 10:02:09 elk151.oldboyedu.com systemd[1]: Started Elasticsearch.
8月 26 10:29:11 elk151.oldboyedu.com systemd[1]: Stopping Elasticsearch...
8月 26 10:29:11 elk151.oldboyedu.com systemd[1]: Stopped Elasticsearch.
8月 26 10:29:11 elk151.oldboyedu.com systemd[1]: Starting Elasticsearch...
8月 26 10:30:03 elk151.oldboyedu.com systemd[1]: Started Elasticsearch.
8月 26 11:17:11 elk151.oldboyedu.com systemd[1]: Stopping Elasticsearch...
8月 26 11:17:12 elk151.oldboyedu.com systemd[1]: Stopped Elasticsearch.
[root@elk151 ~]# rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*
[root@elk151 ~]#

（二）修改elk151.edu.com 修改es的配置文件

[root@elk151 ~]# vim /etc/elasticsearch/elasticsearch.yml
# 指定ES集群的名称
cluster.name: oldboyedu-linux85
# ES服务监听对外暴露服务的地址
network.host: 0.0.0.0
# 指定ES集群的节点IP
discovery.seed_hosts: ["10.0.0.151","10.0.0.152","10.0.0.153"]
# 指定参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.151","10.0.0.152","10.0.0.153"]
1.查看配置信息
[root@elk151 ~]# yy /etc/elasticsearch/elasticsearch.yml
cluster.name: 151edu-linux85
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.151","10.0.0.152","10.0.0.153"]
cluster.initial_master_nodes: ["10.0.0.151","10.0.0.152","10.0.0.153"]
[root@elk151 ~]#

（三）将配置文件分发到其他两个节点

scp /etc/elasticsearch/elasticsearch.yml  10.0.0.152:/etc/elasticsearch/elasticsearch.yml
scp /etc/elasticsearch/elasticsearch.yml  10.0.0.153:/etc/elasticsearch/elasticsearch.yml

    分发其他两个节点

[root@elk151 ~]#  scp /etc/elasticsearch/elasticsearch.yml  10.0.0.153:/etc/elasticsearch/elasticsearch.yml
The authenticity of host '10.0.0.153 (10.0.0.153)' can't be established.
ECDSA key fingerprint is SHA256:hfSd0fZnZScoy7gV/0yseTwuTfpVlU24t3TDj5q1+nk.
ECDSA key fingerprint is MD5:c0:c6:a4:b5:f5:d3:15:25:e3:bc:2c:b9:a1:9d:a8:cd.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.0.0.153' (ECDSA) to the list of known hosts.
root@10.0.0.153's password: 
elasticsearch.yml                                                                                             100% 3701     2.1MB/s   00:00    
[root@elk151 ~]# scp /etc/elasticsearch/elasticsearch.yml  10.0.0.152:/etc/elasticsearch/elasticsearch.yml
root@10.0.0.152's password: 
elasticsearch.yml                                                                                             100% 3701     2.1MB/s   00:00    
[root@elk151 ~]#

另外两个节点查看一下

[root@elk152 ~]# yy /etc/elasticsearch/elasticsearch.yml 
cluster.name: edu-linux85
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.151","10.0.0.152","10.0.0.153"]
cluster.initial_master_nodes: ["10.0.0.151","10.0.0.152","10.0.0.153"]
[root@elk152 ~]#

（四）所有节点启动ES服务

1.主机10.0.0.151启动服务：
[root@elk151 ~]# systemctl enable --now elasticsearch 
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
2.主机10.0.0.152启动服务
[root@elk151 ~]# systemctl enable --now elasticsearch 
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
3.主机10.0.0.152启动服务
[root@elk151 ~]# systemctl enable --now elasticsearch 
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

（五）验证ES集群节点是否正常工作

1.验证ES集群配置成功的标志之一
[root@elk151 ~]# curl 10.0.0.151:9200
{
  "name" : "elk151.edu.com",
  "cluster_name" : "edu-linux85",
  "cluster_uuid" : "lIXyWpnSQPO4s12VVk3alw", #ES集群配置成功UUID一样
  "version" : {


[root@elk151 ~]# curl 10.0.0.152:9200
{
  "name" : "elk152.edu.com",
  "cluster_name" : "edu-linux85",
  "cluster_uuid" : "lIXyWpnSQPO4s12VVk3alw",#ES集群配置成功UUID一样
  "version" : {



[root@elk151 ~]# curl 10.0.0.153:9200
{
  "name" : "elk153.edu.com",
  "cluster_name" : "edu-linux85",
  "cluster_uuid" : "lIXyWpnSQPO4s12VVk3alw",#ES集群配置成功UUID一样
  "version" : {
2.验证ES集群配置成功的标志之二
[root@elk151 ~]# curl  10.0.0.153:9200/_cat/nodes
10.0.0.153  9 91 22 0.46 0.33 0.18 cdfhilmrstw - elk153.edu.com
10.0.0.152 15 70 25 0.39 0.29 0.19 cdfhilmrstw - elk152.edu.com
10.0.0.151 15 72 26 0.43 0.27 0.18 cdfhilmrstw * elk151.edu.com
[root@elk151 ~]#
3.查看集群日志~oldboyedu-linux85.log
[root@elk151 ~]# ll /var/log/elasticsearch/
total 3076
-rw-r--r-- 1 elasticsearch elasticsearch  62051 8月  26 11:40 gc.log
-rw-r--r-- 1 elasticsearch elasticsearch   2096 8月  26 11:36 gc.log.00
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_audit.json
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_deprecation.json
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_deprecation.log
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_index_indexing_slowlog.json
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_index_indexing_slowlog.log
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_index_search_slowlog.json
-rw-r--r-- 1 elasticsearch elasticsearch      0 8月  26 11:36 oldboyedu-linux85_index_search_slowlog.log
-rw-r--r-- 1 elasticsearch elasticsearch 889606 8月  26 11:40 oldboyedu-linux85.log
-rw-r--r-- 1 elasticsearch elasticsearch 988433 8月  26 11:40 oldboyedu-linux85_server.json
[root@elk151 ~]#

（六）如何集群配置完后发现不成功：uuid不一样或没有多个nodes节点

1.重复步骤三、四

重复的同时注意几点：

1、关闭三个集群服务：systemctl stop elasticsearch.service

2、删除三个集群服务日志、临时文件；rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*

3、10.0.0.151主机重新分发配置：

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.152:/etc/elasticsearch/elasticsearch.yml scp /etc/elasticsearch/elasticsearch.yml 10.0.0.153:/etc/elasticsearch/elasticsearch.yml

4、同时启动三台机器：systemctl enable --now elasticsearch

linuxMinx
关注
  • 22
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch集群环境搭建
01-07
Es集群搭建核心思想  1.配置相同集群名称  2.配置不同的节点ID  3.修改X台服务器elasticsearch.yml配置 服务器环境->准备三台服务器集群 服务器集群配置： ## 修改elasticsearch.yml文件 [root@chenxi elastic...
详解ElasticSearch6.4.0集群搭建
08-26
搭建 ElasticSearch 6.4.0 集群需要经过软件准备、环境规划、修改服务器主机名称、关闭防火墙、JDK 安装配置、ElasticSearch 安装配置、集群搭建和集群测试等步骤。通过这些步骤，可以成功搭建一个高可用的 Elastic...
elasticsearch集群部署搭建（一）
xgysimida的博客
07-13 2255
它能很方便的使大量数据具有搜索、分析和探索的能力。它目前被广泛地使用于各个 IT 公司。我这里选择的是1.8.0_271，JDK的安装步骤这里不做讲解。应项目需要，我这里下载的是elasticsearch-7.6.2。至此，es集群部署搭建完成，当前存在一个问题就是**JDK与es的版本兼容性，我只截取了部分，完整请。Elasticsearch 是一个。如何为es集群添加访问密码**。
Linux 下 ElasticSearch 集群部署
qq_59998784的博客
07-17 3060
本文将以三台服务器为例，介绍在 linux 系统下ElasticSearch的部署方式。
ElasticSearch集群的搭建
zhiyikeji的博客
02-07 2882
ES集群是一个P2P类型(使用 gossip 协议)的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。在 Elasticsearch 2.0 之前，无阻碍的网络下，所有配置了相同 cluster.name 的节点都自动归属到一个集群中。pretty进行查看。当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行 搜索和其他操作。
ElasticSearch 集群搭建
小识的博客
12-19 1281
分发完成后，其他集群节点都需要修改配置文件server.properties中的 broker.id 和listeners 参数。在kafka-server-start.sh中加上export JMX_PORT=“9999”，分发到各个节点，然后重启即可。我在本地mac上启动代码调试时报了如下一个错误，拉取不到元数据，搜了一下是因为本地hosts文件没有配置域名映射的关系。执行 zk.sh start 都正常启动了，但是执行zk.sh status 显示如下。为了方便启动和关闭集群，写一个脚本zk.sh。
ElasticSearch7.7.1集群搭建 & Kibana安装
李木
01-26 1670
Elasticsearch（ES）是一个基于Apache Lucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTful API，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上存储、检索和分析。高扩展性：Elasticsearch可以扩展到上百台服务器，支持大规模数据存储和检索。
Elasticsearch集群部署（Linux）
明静致远
04-23 1997
这里准备三台Linux虚拟机，用于配置Elasticsearch集群和部署可视化工具Kibana。（1）查看Elasticsearch对应的常用的jdk版本如下：（详情可看官网的。
ELK Elasticsearch 集群部署
qq_52448810的博客
08-05 700
filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。有了flebeat可以节省资源，可以通过filebeat和logstash实现远程数据收集。
windows环境搭建ElasticSearch集群
gaofei05123的博客
01-29 852
windows下搭建ES集群
es集群部署搭建
weixin_46466153的博客
02-17 311
es集群部署搭建
Linux部署elasticsearch集群
运维@小兵的博客
12-01 970
Linux部署elasticsearch集群
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
git submodule
duke_ding2的博客
08-23 830
git submodule
JDK17 隐藏类 Hidden Classes 介绍
K___End的博客
08-23 514
隐藏类是JDK 17引入的一项重要特性，旨在提高性能并减少内存使用，特别是在处理大量Lambda表达式时。它通过避免创建和加载不必要的类来实现这一目标。对于大多数应用程序来说，隐藏类是透明的，并且会自动启用。如果你需要更细粒度的控制，可以通过JVM参数来配置隐藏类的行为。
图解 Elasticsearch 的 Fielddata Cache 使用与优化
铭毅天下Elasticsearch
08-21 739
1、难搞的 fielddata cache在 ES 使用的几个内存缓存中，fielddata cache 算是一个让人头疼的家伙。作为和 query cache 和 request cache 一样不受 GC 控制的内存使用者，fielddata cache 虽然也有 indices.fielddata.cache.size 的设置来阻止过度使用，但是默认是不限制的。并且，当 fielddata ...
Git（分布式版本控制系统）
最新发布
2302_79087378的博客
08-26 311
git基础
ElasticSearch Date 类型
BLOCKGOLD.E的博客
08-23 249
多种时间格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值