搭建 es 集群

已于 2024-03-24 19:07:32 修改
阅读量2.2k 收藏 26
点赞数 31
文章标签： elasticsearch linux 运维 es 集群 es 集群搭建
于 2024-03-18 23:27:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59367598/article/details/136821295
版权

一、VMware准备机器

首先准备三台机器

这里我直接使用 VMware 构建三个虚拟机 都是基于 CentOS7

然后创建新用户

部署 es 需要单独创建一个用户，我这里在构建虚拟机的时候直接创建好了

然后将安装包上传

可以使用 rz 命令上传，也可以使用工具上传

工具包地址：链接：https://pan.baidu.com/s/1sGJW4jErofM3aj2CeU1ncg?pwd=eo6a 
提取码：eo6a 

上传后进行解压

三台机器都需要

tar zxvf elasticsearch-7.17.3-linux-x86_64.tar.gz

解压完成

二、配置 jdk

es7 以上内置了 jdk 环境，

但是需要配置一下：

# linux  进入用户主目录，比如/home/heyue/es/目录下，设置用户级别的环境变量
vim .bash_profile
#设置ES_JAVA_HOME和ES_HOME的路径
export ES_JAVA_HOME=/home/heyue/es/elasticsearch-7.17.3/jdk
export ES_HOME=/home/heyue/es/elasticsearch-7.17.3
export PATH=$PATH:/home/heyue/es/elasticsearch-7.17.3/jdk/bin
#执行以下命令使配置生效
source .bash_profile

三、先单机启动

这里可以先启动三台单机的 es

然后配置 ElasticSearch

配置 elasticsearch.yaml 文件

vim elasticsearch.yml

#开启远程访问  
network.host: 0.0.0.0
#单节点模式   初学者建议设置为此模式 
discovery.type: single-node

修改 JVM 内存 我这里内存比较小，可以根据自己服务器情况进行设置

修改config/jvm.options配置文件，调整jvm堆内存大小

启动 es

bin/elasticsearch 

# -d 后台启动
bin/elasticsearch -d

启动成功后通过浏览器访问

如果访问不通，可以看下防火墙端口是否开放：

添加防火墙规则：
打开端口，例如打开端口 9200（HTTP）：

sudo firewall-cmd --zone=public --add-port=9200/tcp --permanent

重新加载防火墙规则以应用更改：

sudo firewall-cmd --reload

查看已打开的端口：

sudo firewall-cmd --list-ports

然后可以看到 我这里三台 单机 es 已经启动成功

四、安装 kibana

然后随便找一台机器安装 kibana

同样的上传压缩包，解压

修改配置文件

vim config/kibana.yml

修改一下几个地方

端口：

 网卡监听：

es URL：

中文：

然后启动 kibana

nohup  bin/kibana &

可以看到启动成功

这里注意，别忘了 开放端口 5601

五、集群配置

域名映射

可以先进行域名映射，便于后面维护

执行命令：

vim /etc/hosts

注意：这里如果其实文件只读，可以对文件增加写入权限，也可以使用 root 进行修改

添加以下配置：

192.168.177.201 es-node1
192.168.177.202 es-node2
192.168.177.203 es-node3

三台机器同样的操作

然后修改 elasticsearch.yml 配置

首先把刚刚单机配置注释

其他配置：

# 指定集群名称3个节点必须一致
cluster.name: es-cluster
#指定节点名称，每个节点名字唯一
node.name: node-1
#是否有资格为master节点，默认为true
node.master: true
#是否为data节点，默认为true
node.data: true
# 绑定ip,开启远程访问,可以配置0.0.0.0
network.host: 0.0.0.0
#指定web端口
#http.port: 9200
#指定tcp端口
#transport.tcp.port: 9300
#用于节点发现
discovery.seed_hosts: ["es-node1", "es-node2", "es-node3"] 
#7.0新引入的配置项,初始仲裁，仅在整个集群首次启动时才需要初始仲裁。
#该选项配置为node.name的值，指定可以初始化集群节点的名称
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#解决跨域问题
http.cors.enabled: true
http.cors.allow-origin: "*"

配置好之后，先 kill 掉刚刚启动的进程，三台机器同样的操作

 ！！！注意修改完成之后，一定一定要记得切换用户，不要使用 root！不要使用 root！不要使用 root！不要使用 root！不要使用 root！不要使用 root！

然后由于刚刚进行单机启动了，所以还需要删除 data 文件夹

# 注意：如果运行过单节点模式，需要删除data目录， 否则会导致无法加入集群 
rm -rf data 
# 启动ES服务 bin/elasticsearch -d

重新启动：

bin/elasticsearch -d

报错以及解决方案

发现报错可以按照以下方案解决：

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

然后进行配置：

注意需要先切换到 root 

#切换到root用户
vim /etc/security/limits.conf

末尾添加如下配置：
  *        soft     nofile     65536
  *     hard     nofile     65536
  *     soft     nproc     4096
  *        hard     nproc     4096

[2]: max number of threads [1024] for user [es] is too low, increase to at least [4096]

无法创建本地线程问题,用户最大可创建线程数太小

vim /etc/security/limits.d/20-nproc.conf

改为如下配置：
* soft nproc 4096

[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

最大虚拟内存太小,调大系统的虚拟内存

vim /etc/sysctl.conf
追加以下内容：
vm.max_map_count=262144
保存退出之后执行如下命令：
sysctl -p

[4]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

缺少默认配置，至少需要配置discovery.seed_hosts/discovery.seed_providers/cluster.initial_master_nodes中的一个参数.

  • discovery.seed_hosts: 集群主机列表
  • discovery.seed_providers: 基于配置文件配置集群主机列表
  • cluster.initial_master_nodes: 启动时初始化的参与选主的node，生产环境必填
vim config/elasticsearch.yml
#添加配置
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]

#或者指定配置单节点（集群单节点）
discovery.type: single-node

 [5] 

 注意：es默认不能用root用户启动，生产环境建议为elasticsearch创建用户。

#为elaticsearch创建用户并赋予相应权限
adduser es
passwd es
chown -R es:es elasticsearch-7.17.3

配置完成后，注意，一定一定 要记得切换用户，es 不支持 root 启动

如果已经使用 root 启动报错了，需要先执行以下命令进行替换

回到 es 文件夹，执行以下命令，里面的 heyue 换成自己的用户名

chown -R heyue:heyue elasticsearch-7.17.3

如果出现以下信息，那么恭喜，集群搭建成功

六、更新 kibana 配置

然后还需要修改一下 kibana 配置，配置为集群

vim config/kibana.yml


elasticsearch.hosts: ["http://192.168.65.174:9200","http://192.168.65.192:9200","http://192.168.65.204:9200"]

七、安装 Cerebro 客户端

先上传，然后解压

unzip cerebro-0.9.4.zip

 解压完成后直接启动

nohup bin/cerebro > cerebro.log &

然后页面上输入 es 地址链接

到这里，看到这个页面，恭喜 es 集群已经完成搭建完成 

 这里是基于原生安装包的方式进行搭建，基于 docker 搭建也是一样的，使用docker 启动三个单机，然后修改里面的配置文件即可

未来的自己一定会感谢今天努力的自己，加油，我们一起进步！！！

和月
关注
  • 31
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
高可用elasticsearch集群搭建
lmj3732018的博客
11-23 1万+
Elasticsearch（简称为ES）是一个开源的分布式搜索和分析引擎，构建在Apache Lucene搜索引擎库之上。它提供了一个强大的全文搜索和实时分析功能，适用于大规模的数据存储、检索和分析。
ES的集群部署
weixin_42666548的博客
05-26 5773
ES的集群部署
ES集群搭建详细说明
12-12
文档描述了ES集群搭建详细流程，以及在搭建过程中常见的一些问题。
elasticsearch集群+kibana
最新发布
m554062212的博客
07-22 322
下载地址：https://www.elastic.co/cn/downloads/past-releases。修改/home/es/es-node1/config/elasticsearch.yml。chown -R es:es /home/es/es-node1 #文件夹所有者。chown -R es:es /home/es/es-node2 #文件夹所有者。chown -R es:es /home/es/es-node3 #文件夹所有者。修改/etc/security/limits.conf。
es集群的详细搭建过程
Hanson的博客
03-04 1092
es集群详细搭建过程
ES集群搭建
miserable_world的博客
01-30 1792
ES 8.12.0 集群搭建
Python中集成es两种方式+集群+脑裂+打分
A1L__的博客
02-21 522
Python中集成es两种方式 1 原生集成 # Official low-level client for Elasticsearch ### 等同于pymysql #pip3 install elasticsearch from elasticsearch import Elasticsearch obj = Elasticsearch() # 得到一个对象 # 创建索引（Index） # result = obj.indices.create(index='user', body={"us
ES搭建集群
weixin_46685039的博客
08-22 1273
分别依次双击执行节点的bin/elasticsearch.bat, 启动节点服务器（可以编写一个脚本启动），启动后，会自动加入指定名称的集群。创建 elasticsearch-7.8.0-cluster 文件夹，在内部复制三个 elasticsearch 服务。然后每个文件目录中每个节点的 config/elasticsearch.yml 配置文件。一、创建 elasticsearch-cluster 文件夹。指示着当前集群在总体上是否工作正常。一、用Postman，查看集群状态。
es 集群的搭建
健康平安的活着的专栏
07-04 3741
1.1 es伪分布式 Es会自动发现同一网段下的es，配置成相同集群名字的各个节点形成一个集群。如果在同一网段下有多个集群，就可以用culster.name来区分不同的集群。 1．下载es软件包，修改配置文件。本案例使用2.0版本，放到e盘下，如图 简单修改elasticsearch.yml配置文件的内容：（确保key和value的前面都有一个空格，即cluster.n
ES集群搭建及使用
u010278862的专栏
11-05 1386
1. 前置条件 操作系统 Centos7 java环境 jdk1.8 基本软件 git、zip、npm等 2.Elasticsearch 开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快...
ES（二）ES安装及集群的搭建
upupfeng的博客
01-07 6153
ES安装 安装步骤 准备安装包https://www.elastic.co/downloads/elasticsearch 解压安装包tar -xvf elasticsearch-5.5.2.tar.gz 安装完成 创建一个es用户（es不能使用root运行） groupadd es useradd es -g es -p es chown -R es:es /home/software/es/...
构建数据搜索的超级引擎：如何搭建 Elasticsearch 集群
07-18
### 构建数据搜索的超级引擎：如何搭建 Elasticsearch 集群 Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 风格的搜索和分析引擎，广泛应用于处理大规模数据的搜索、分析和存储任务。本文旨在深入...
使用docker快速搭建Elasticsearch集群.pdf
11-23
下面将详细介绍如何使用Docker快速搭建Elasticsearch集群。 首先，确保你的系统满足运行Elasticsearch的基本需求。在Linux环境下，特别要注意`vm.max_map_count`这个内核参数。Elasticsearch需要大量的内存映射来...
【安装手册】在CentOS搭建Elasticsearch集群
Do one thing, do it well.
09-19 171
可参考：https://blog.csdn.net/henryitgd/article/details/132957581。3台虚拟机：192.168.59.191、192.168.59.192、192.168.59.193。报错 can not run elasticsearch as root。
docker搭建ElasticSearch集群
qq_46127735的博客
06-07 2315
docker搭建ElasticSearch集群 创建挂载目录 进入config文件里面创建es配置文件 查询防火墙状态 关闭防火墙 （只执行这个，重启后不行，还必须执行在 目录下创建 es1.yml，es2.yml，es3.yml 编辑es1.yml 执行 命令 可以查看自己的宿主ip,找到 例如 ：es2.yml es3.yml 3.调高JVM线程数限制数量 在centos窗口中，修改配置 加入如下内容： 启用配置： 三、启动ElasticSearch集.........
docker搭建Elasticsearch集群
qq_43555873的博客
05-16 1249
.拉取es镜像 2.配置配置文件 3.启动容器 4.启动过程中遇到的问题 5.查看容器启动情况 elasticsearch 集群搭建，elasticsearch head
es集群搭建
weixin_30352191的博客
09-06 260
1、复制5份es，版本要相同，且各个节点上jdk版本也要相同，否则会报数据同步格式不一致 invalid internal transport message format。 2、配置elasticsearch.yml，主要修改以下方面： 　　cluster.name: my-application #集群名，各个节点要一致 　　node.name: node-01 ...
ES集群的搭建
qq_41961805的博客
07-18 557
本篇博客在ELK安装部署之后完成，详情请见ELK的简介与安装部署 接下来，我们要用到几台虚拟机部署ELK集群。 主机 ip server1 172.25.26.1 server2 172.25.26.2 server3 172.25.26.3 [root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml dis...
linux环境搭建Elasticsearch集群方法详细说明
04-04
概述： Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎，它可以处理大量结构化和非结构化数据。在本文中，我们将了解如何在Linux环境中搭建Elasticsearch集群。 步骤： 步骤1：安装Java 在安装Elasticsearch之前，Java是必需的。您可以使用以下命令从命令行安装Java： ``` sudo apt-get update sudo apt-get install default-jre ``` 步骤2：下载和安装Elasticsearch 您可以从Elasticsearch官方网站下载最新版本的Elasticsearch。下载完成后，您可以使用以下命令安装它： ``` sudo dpkg -i elasticsearch-7.10.1-amd64.deb ``` 步骤3：配置Elasticsearch 默认情况下，Elasticsearch将在本地主机上运行。您可以通过编辑以下文件来更改默认配置： ``` sudo nano /etc/elasticsearch/elasticsearch.yml ``` 在此文件中，您可以更改以下设置： - cluster.name：设置集群名称。 - node.name：设置节点名称。 - network.host：设置网络接口。 - http.port：设置HTTP端口。 步骤4：启动Elasticsearch 要启动Elasticsearch，请使用以下命令： ``` sudo systemctl start elasticsearch ``` 要检查Elasticsearch是否正在运行，请使用以下命令： ``` sudo systemctl status elasticsearch ``` 步骤5：配置Elasticsearch集群 要配置Elasticsearch集群，请编辑以下文件： ``` sudo nano /etc/elasticsearch/elasticsearch.yml ``` 在该文件中，您可以使用以下设置来配置集群： - cluster.name：设置集群名称。 - node.name：设置节点名称。 - network.host：设置网络接口。 - http.port：设置HTTP端口。 - discovery.seed_hosts：设置种子主机列表。 在配置文件中，您还需要更改以下设置： ``` cluster.initial_master_nodes: ["node-1", "node-2"] ``` 此设置定义了集群中的初始主节点。您需要在每个节点上设置不同的名称。 步骤6：启动Elasticsearch集群 要启动Elasticsearch集群，请使用以下命令： ``` sudo systemctl start elasticsearch ``` 要检查Elasticsearch集群是否正在运行，请使用以下命令： ``` curl -X GET "http://localhost:9200/_cluster/health?pretty=true" ``` 此命令将显示有关集群的健康状态信息。 结论： 在本文中，我们了解了如何在Linux环境中搭建Elasticsearch集群。我们从安装Java开始，然后下载和安装Elasticsearch。接下来，我们配置了Elasticsearch，并启动了它。最后，我们配置了Elasticsearch集群，并启动了它。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值