ElasticSearch集群部署

最新推荐文章于 2024-05-30 17:10:26 发布
最新推荐文章于 2024-05-30 17:10:26 发布
阅读量1.8k 收藏 11
点赞数 3
分类专栏： 实施/运维 文章标签： elasticsearch 大数据 搜索引擎 数据库 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37242720/article/details/126993382
版权

ElasticSearch集群部署

一、 准备工作

1.1、修改Linux句柄数

## 查看当前最大句柄数
sysctl -a | grep vm.max_map_count

## 修改句柄数
vi /etc/sysctl.conf

## 添加以下配置
vm.max_map_count=262144


## 配置生效
sysctl -p

1.2、关闭swap

因为ES的数据大量都是常驻内存的，一旦使用了虚拟内存就会导致查询速度下降，一般需要关闭swap，但是要保证有足够的内存。

## 临时关闭
swapoff -a

## 永久关闭
vi /etc/fstab

## 注释掉swap这一行的配置
#
# /etc/fstab
# Created by anaconda on Tue Mar 29 14:50:22 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=fbd967b5-84cc-40a1-a913-cf7a96e5f290 /boot                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0

1.3、修改最大线程数

因为ES运行期间可能创建大量线程，如果线程数支持较少可能报错。

vi /etc/security/limits.conf

## 在文件末尾添加如下配置
* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

elsearch soft nproc 125535

elsearch hard nproc 125535

重新生效

reboot

1.4、创建elsearch用户

## ElasticSearch不能以Root身份运行， 需要单独创建一个用户， 并赋予目录权限
groupadd elsearch

useradd elsearch

## 输入密码为elasticsearch
passwd elsearch

chown -R elsearch:elsearch /home/elsearch

1.5、关闭防火墙

systemctl stop  firewalld.service
systemctl disable  firewalld.service

二、ElasticSearch安装

2.1、下载ElasticSearch服务

下载版本ElasticSearch7.17.5：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

## 切换elsearch用户
su - elsearch

## 下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.5-linux-x86_64.tar.gz

2.2、解压安装包

tar -xvf elasticsearch-7.17.5-linux-x86_64.tar.gz

2.3、修改配置文件

默认情况下会绑定本机地址， 外网不能访问， 这里要修改下：

vi elasticsearch-7.17.5/config/elasticsearch.yml

# 数据目录位置
path.data: /home/elsearch/elasticsearch-7.10.2/data
# 日志目录位置
path.logs: /home/elsearch/elasticsearch-7.10.2/logs
# node名称
node.name: node-1
# 外网访问地址
network.host: 0.0.0.0
discovery.seed_hosts: ["node-1"]
cluster.initial_master_nodes: ["node-1"]

2.4、启动ElasticSearch

启动，注意不要使用root用户启动。

## 切换到/home/elsearch/elasticsearch-7.17.5/bin/目录
cd /home/elsearch/elasticsearch-7.17.5/bin/

## 以后台常驻方式启动，启动需要一会时间。
./elasticsearch -d 

## 查看过程
ps -ef | grep elasticserach

停止

## 先查找ElasticSearch的进程号
ps -ef | grep elasticsearch


## 杀死对应的进程
kill -9 67339

2.5、访问验证

访问地址：http://192.168.0.101:9200/_cat/health
在这里插入图片描述
启动状态有green、yellow和red。 green是代表启动正常。
在这里插入图片描述

三、Kibana服务安装

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。

3.1、下载安装包

到官网下载， Kibana安装包， 与之对应7.10.2版本， 选择Linux 64位版本下载，并进行解压。

下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana

## 切换/home/elsearch/目录下
cd /home/elsearch/

## 下载
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.5-linux-x86_64.tar.gz

## 解压
tar -xvf kibana-7.17.5-linux-x86_64.tar.gz

## 重命名为 kibana-7.10.2
mv kibana-7.17.5-linux-x86_64 kibana-7.17.5

3.2、修改配置文件

修改以下配置

vi kibana-7.17.5/config/kibana.yml

# 服务端口
server.port: 5601
# 服务地址
server.host: "0.0.0.0"
# elasticsearch服务地址
elasticsearch.hosts: ["http://192.168.0.101:9200"]

3.3、启动kibana

cd /home/elsearch/kibana-7.17.5/bin/

## 前台运行
./kibana -q

## 后台运行
nohup ./kibana > /dev/null 2>&1 &

## 查看进程
ps -ef | grep kibana

如果出现启动失败的情况， 要检查集群各节点的日志， 确保服务正常运行状态。

3.4、访问服务

访问：http://192.168.0.101:5601/
在这里插入图片描述

四、集群部署

4.1、服务布局

准备三台虚拟机，分配如下

服务器IP地址服务名称端口内存限制
linux1192.168.0.101node19200， 93001G
linux2192.168.0.102node29200， 93001G
linux3192.168.0.103node39200， 93001G
linux1192.168.0.101cerebro9000不限
linux1192.168.0.101kibana5601不限

4.2、准备工作

分别在三台服务器上执行

  • 1.1、修改Linux句柄数
  • 1.2、关闭swap
  • 1.3、修改最大线程数
  • 1.4、创建elsearch用户
  • 1.5、关闭防火墙

4.3、下载解压

## 切换elsearch用户
[root@linux1 ~]# su - elsearch

## 下载
[elsearch@linux1 ~]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.5-linux-x86_64.tar.gz

## 解压
[elsearch@linux1 ~]$ tar -xvf elasticsearch-7.17.5-linux-x86_64.tar.gz

linux2和linux3同上操作

4.4、改集群配置文件

  • linux1
vi elasticsearch-7.17.5/config/elasticsearch.yml

## 集群名称
cluster.name: my-application
## 当前该节点的名称
node.name: node-1
## 是不是有资格竞选主节点
node.master: true
## 是否存储数据
node.data: true
## 最大集群节点数
node.max_local_storage_nodes: 3
## 数据存档位置
path.data: /home/elsearch/elasticsearch-7.17.5/data
## 日志存放位置
path.logs: /home/elsearch/elasticsearch-7.17.5/log
## 绑定IP地址
network.host: 0.0.0.0
## 指定服务访问端口
http.port: 9200
## 指定API端户端调用端口
transport.tcp.port: 9300
## 集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
## es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
## 其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
## 如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 在群集完全重新启动后阻止初始恢复，直到启动N个节点
## 简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
## 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
## 开启跨域访问支持，默认为false
http.cors.enabled: true
## 跨域访问允许的域名, 允许所有域名
http.cors.allow-origin: "*"
  • linux2
vi elasticsearch-7.17.5/config/elasticsearch.yml

## 集群名称
cluster.name: my-application
## 当前该节点的名称
node.name: node-2
## 是不是有资格竞选主节点
node.master: true
## 是否存储数据
node.data: true
## 最大集群节点数
node.max_local_storage_nodes: 3
## 数据存档位置
path.data: /home/elsearch/elasticsearch-7.17.5/data
## 日志存放位置
path.logs: /home/elsearch/elasticsearch-7.17.5/log
## 绑定IP地址
network.host: 0.0.0.0
## 指定服务访问端口
http.port: 9200
## 指定API端户端调用端口
transport.tcp.port: 9300
## 集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
## es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
## 其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
## 如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 在群集完全重新启动后阻止初始恢复，直到启动N个节点
## 简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
## 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
## 开启跨域访问支持，默认为false
http.cors.enabled: true
## 跨域访问允许的域名, 允许所有域名
http.cors.allow-origin: "*"
  • linux3
vi elasticsearch-7.17.5/config/elasticsearch.yml

## 集群名称
cluster.name: my-application
## 当前该节点的名称
node.name: node-3
## 是不是有资格竞选主节点
node.master: true
## 是否存储数据
node.data: true
## 最大集群节点数
node.max_local_storage_nodes: 3
## 数据存档位置
path.data: /home/elsearch/elasticsearch-7.17.5/data
## 日志存放位置
path.logs: /home/elsearch/elasticsearch-7.17.5/log
## 绑定IP地址
network.host: 0.0.0.0
## 指定服务访问端口
http.port: 9200
## 指定API端户端调用端口
transport.tcp.port: 9300
## 集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
## es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
## 其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
## 如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["192.168.0.101","192.168.0.102","192.168.0.103"]
## 在群集完全重新启动后阻止初始恢复，直到启动N个节点
## 简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
## 禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
## 开启跨域访问支持，默认为false
http.cors.enabled: true
## 跨域访问允许的域名, 允许所有域名
http.cors.allow-origin: "*"

4.5、启动集群节点

分别启动三个ES服务

## linux1
[elsearch@linux1 ~]$ /home/elsearch/elasticsearch-7.17.5/bin/elasticsearch -d

## linux2
[elsearch@linux2 ~]$ /home/elsearch/elasticsearch-7.17.5/bin/elasticsearch -d

## ## linux3
[elsearch@linux3 ~]$ /home/elsearch/elasticsearch-7.17.5/bin/elasticsearch -d

4.6、访问验证

访问linux1：http://192.168.0.101:9200/_cat/health
在这里插入图片描述
访问linux2：http://192.168.0.102:9200/_cat/health
在这里插入图片描述
访问linux3：http://192.168.0.103:9200/_cat/health
在这里插入图片描述

4.7、安装kibana

安装方式同上，修改配置文件

vi /home/elsearch/kibana-7.17.5/config/kibana.yml

## 监听端口
server.port: 5601
## 服务地址
server.host: "0.0.0.0"
## 服务名称
server.name: "kibana"
## kibana访问es服务器的URL,就可以有多个，以逗号","隔开
elasticsearch.hosts: ["http://192.168.0.101:9200","http://192.168.0.102:9200","http://192.168.0.103:9200"]
## kibana访问Elasticsearch的账号与密码(如果ElasticSearch设置了的话)
elasticsearch.username: "kibana"
elasticsearch.password: "kibana"

## kibana日志文件存储路径
logging.dest: stdout
## 此值为true时，禁止所有日志记录输出
logging.silent: false
## 此值为true时，禁止除错误消息之外的所有日志记录输出
logging.quiet: false
## 此值为true时，记录所有事件，包括系统使用信息和所有请求
logging.verbose: false
## 设置采样系统和进程性能的时间间隔（毫秒）
ops.interval: 5000
## kibana web语言
i18n.locale: "zh-CN"

启动kibana

## 切换到/home/elsearch/kibana-7.17.5/bin/目录
cd /home/elsearch/kibana-7.17.5/bin/

## 后台启动
nohup ./kibana > /dev/null 2>&1 &

测试
访问：http://192.168.0.101:5601
在这里插入图片描述

4.8、cerebro

Cerebro是Elasticsearch插件 Elasticsearch Kopf 的演变，可以通过图形界面查看分片分配和执行常见的索引操作。完全开源，需要依赖 Java 1.8 或更高版本才能运行。

## 切换要目录
cd ~

## 下载
wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.tgz

## 解压
tar -zxvf cerebro-0.9.4.tgz

## 启动 
cd /home/elsearch/cerebro-0.9.4/bin
nohup ./cerebro > /dev/null 2>&1 &

测试，访问：http://192.168.0.101:9000，输入：http://192.168.0.101:9200
在这里插入图片描述
在这里插入图片描述

4.9、elasticsearch-head插件安装

这里以Chrome为例，浏览器输入： chrome://extensions/，选择扩展程序。

在这里插入图片描述
在这里插入图片描述

搜索 Multi Elasticsearch Head

在这里插入图片描述
在这里插入图片描述

连接elasticsearch测试

在这里插入图片描述

用生命研发技术
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Elasticsearch集群部署详解
qq_43279371的博客
08-30 2142
目录: 1、Elasticsearch 特性 2、Elasticsearch 单节点安装部署 3、Elasticsearch 集群安装部署 4、附件&&问题集合 Elasticsearch功能与特性： （1）分布式搜索和分析引擎 （2）全文检索，结构化检索，数据分析 （3）对海量数据进行近实时的处理 分布式：ES自动可以将海量数据分散到多台服务器上存储和检索 海量数据的处理：分布式后，可采用大量的服务器存储和检索数据，从而实现海量数据的处理 近实时：在秒级别对数据进行搜索和分析 软件获取链
Elasticsearch集群模式部署
06-30
学习总结资料
ElasticSearch集群的搭建
zhiyikeji的博客
02-07 2818
ES集群是一个P2P类型(使用 gossip 协议)的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。在 Elasticsearch 2.0 之前，无阻碍的网络下，所有配置了相同 cluster.name 的节点都自动归属到一个集群中。pretty进行查看。当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行 搜索和其他操作。
Elasticsearch之集群化部署
最新发布
Java小菜鸟
05-30 881
一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群
elasticsearch 集群部署
cwyxf123的博客
04-11 2972
1、环境初始化 最小化安装 Centos 7.x/Ubuntu x86_64 操作系统的虚拟机，vcpu 2，内存 4G 或更多，操作系统盘 50G，为保证效果特额外添加一块单独的数据磁盘大小为 50G 并格式化挂载到/data 1.1 设置主机名和磁盘挂载 节点信息 IP 主机名 角色 系统版本 10.10.100.110 es-node1 node1 Ubuntu 18.04.3 10.10.100.111 es-node2 node2 Ubuntu 18.04.3 10.10.
Elasticsearch集群部署
虫虫的博客
04-30 1164
保姆级Elasticsearch集群部署指导
Elasticsearch 7.13.2 多节点集群(含配置xpack及创建设置证书和私钥)安装部署指南
shlei5580的专栏
03-07 944
elasticsearch不同版本对操作系统有兼容性要求，可参照如下官方链接查看ES和操作系统兼容需求列表。
ES集群部署保姆级教程
10-09
【Elasticsearch 集群部署保姆级教程】 在IT领域，Elasticsearch（简称ES）是一种广泛应用的开源全文搜索引擎，常用于日志分析、实时监控、数据挖掘等场景。本教程将指导您如何在Windows环境下搭建一个简单的...
Elasticsearch集群部署.docx
07-30
本文档主要以Elasticsearch6.6.2为版本，以Centos7.6为操作系统，详细讲解了ES的集群部署和配置，该文档也支持其他ES其他版本部署配置。原创作者：永远的SSS
ES集群部署方案.pptx
03-09
ES（Elasticsearch）集群部署是指将多个 ES 节点组成的集群，以提高搜索和索引的性能和可用性。下面是 ES 集群部署方案的详细解释： 集群配置 在 ES 集群中，每个节点都需要配置集群名称（cluster.name）、节点...
ElasticSearch集群部署方式
10-25
ElasticSearch集群部署方式及社会公共信息系统配置文件中es相关参数的修改
CentOS7下Elasticsearch高可用集群方案-完整部署记录（个人珍藏版）
08-29
本篇文章详细记录了CentOS7下Elasticsearch高可用集群方案-完整部署过程，可作为线上长期的实操手册。特在此分享，希望能帮助到有用到的朋友。
ElasticSearch集群管理：掌握集群部署、配置，2024年最新大数据开发黑科技实现原理揭秘
2401_84150302的博客
04-16 305
以上内容是基于要求撰写的一个大纲和示例，实际的文章需要根据这个大纲进一步扩展和填充细节，以确保达到2600字以上的篇幅。由于篇幅限制，这里无法提供完整的2600字文章。如果你需要完整的文章，可以根据上述大纲和示例，继续扩展每个部分的内容，详细描述每个配置项的作用、如何设置、以及设置的注意事项等。同时，结合实际案例，讲解如何在不同的场景下应用ElasticSearch集群，以及如何解决可能遇到的问题。指定集群名称为“企业搜索集群”，节点名称分别为“节点1”、“节点2”、“节点3”，并设置网络配置和存储配置。
ElasticSearch安装与集群搭建
06-17 1033
进入/usr/local/software/tars 目录下执行以下指令，必须使用普通用户完成，后面启动不允许使用root用户，这里我们使用之前创建的hadoop用户即可。在slave01和slave02的上重复前面的操作，然后依次启动即可。elasticsearch.yml文件中的其他配置信息一致即可。其他节点的集群也执行1，2，3的操作即可。limits.conf文件，在底部添加。参数，该参数设置进程可以适用的的。”命令，使修改的配置生效。（虚拟内存区域）数量。
Elasticsearch在Linux中的单节点部署和集群部署
Java.L的博客
02-22 1623
本文讲解了elasticsearch的简介，分别详细的讲解了es在Linux中的单节点部署和集群部署的操作细节；并列举出了在部署过程中遇见的部分问题和解决方法。
elasticsearch8.9.1部署及配置基本安全性以及安全的 HTTPS 流量
qq_43700739的博客
09-13 2175
2、在任何单个节点上，从安装 Elasticsearch 的目录中，运行 Elasticsearch 用于生成证书签名请求 （CSR） 的 HTTP 证书工具。2、修改elasticsearch配置文件elasticsearch.yml(支持ipv4以及ipv6双栈)，文件权限修改成非root的应用程序账号。注：1、输出文件名称（默认）2、CA密码设置（可留空直接回车，生产环境建议设置）输入http.p12密码(配置了的节点都需要将密码存入安全设置中)注：1、输入CA密码。注：1、2：输入密码。
安装和部署elasticsearch
jc15274630894的博客
04-20 2837
安装和部署elasticsearch分布式搜索和分析引擎
Elasticsearch 集群部署
u011192622的博客
05-31 2778
在我们安装好Elasticsearch之后，详细可参考https://blog.csdn.net/u011192622/article/details/124867544 这里我们讲一下Elasticsearch的集群部署 我们准备三台服务器（10.65.9.44，10.65.9.45，10.65.9.46），保证互相之间可以正常访问，在每一台服务器都下载解压好Elasticsearch,并创建想用用户和组以及分配权限（不能root用户安装，详细看上一节内容） 下边我们分三个节点，只需要每个节点的配置文件.
elasticsearch集群部署
08-14
- *1* [ElasticSearch集群部署](https://blog.csdn.net/qq_37242720/article/details/126993382)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值