ElasticSearch集群环境

已于 2024-05-11 16:31:26 修改
阅读量534 收藏 7
点赞数 5
文章标签： elasticsearch jenkins 大数据
于 2024-05-11 14:14:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63754844/article/details/138713987
版权

ElasticSearch集群环境

1、Linux单机

下载地址：LINUX X86_64 (elastic.co)

下载之后进行解压

tar -zxf elasticsearch-7.8.0-linux-x86_64.tar.gz

image-20240507095707572

名字太长了改个名字改成es

mv elasticsearch-7.8.0 es

image-20240507095749658

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户es

useradd es
password es

修改es文件的所有者为es

chown -R es:es /opt/es

image-20240507165740327

修改配置文件

修改/es/config/elasticsearch.yml 文件，添加以下配置

cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]

image-20240507103642070

修改/etc/security/limits.conf，在文件的尾行增加每个进程可以打开的文件数的限制

es soft nofile 65536
es hard nofile 65536

image-20240507164456424

修改/etc/security/limits.d/20-nproc.conf，和上面的限制一样还是限制每个进程可以打开的文件数以及操作系统级别对每一个用户创建的进程数的限制。

es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称

image-20240507164959626

修改/etc/sysctl.conf

# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360

image-20240507165159710

重新加载一下系统配置文件

sysctl -p

image-20240507165820949

先切换为es用户然后到es目录下启动es

su es
bin/elasticsearch

image-20240507170217353

现在虚拟机中的浏览器访问一下9200端口，出现node-1节点的相关信息访问成功

image-20240507171018837

把防火墙关闭之后使用本地的浏览器访问也能显示json串

image-20240507171245863

linux单机的就这样结束

2、Linux集群

linux中开几个文件把端口信息改掉就好

这里因为要重复三次一样的解压、改名、赋予权限的操作太麻烦，直接写一个脚本自动执行。

#!/bin/bash  
#注意：解压缩和命名操作均在当前文件夹下执行
# 检查是否存在要解压的文件  
if [ ! -f "elasticsearch-7.8.0-linux-x86_64.tar.gz" ]; then  
    echo "elasticsearch-7.8.0-linux-x86_64.tar.gz 文件不存在，请检查文件路径。"  
    exit 1  
fi  
# 设置目标用户和组（这里es用户和组已经存在）  
TARGET_USER="es"  
TARGET_GROUP="es"  
  
# 循环两次以创建esnode2和esnode3  
for i in {1..2}; do  
    # 解压缩文件（如果目录已存在，则先删除）  
    if [ -d "elasticsearch-7.8.0" ]; then  
        rm -rf elasticsearch-7.8.0  
    fi  
    tar -zxf elasticsearch-7.8.0-linux-x86_64.tar.gz  
    # 重命名目录  
    NEW_NAME="esnode$(($i+1))"  
    mv elasticsearch-7.8.0 "$NEW_NAME"  
    # 更改目录的所属用户和组  
    chown -R "$TARGET_USER:$TARGET_GROUP" "$NEW_NAME"  
    echo "已成功创建并设置 $NEW_NAME 的所属用户和组为 $TARGET_USER:$TARGET_GROUP"  
done  
echo "所有操作已完成。"

修改/esnode1/config/elasticsearch.yml文件

#集群名称
cluster.name: my-cluster
#节点名称
node.name: "es-node-1"
#定义1为主节点
node.master: true
#定义节点2节点3为数据节点
node.data: true
#访问的IP地址，0.0.0.0表示不限制
network.host: 0.0.0.0
#访问端口号
http.port: 9201
#集群通讯端口号
transport.tcp.port: 9300

#所有节点的ip地址
discovery.zen.ping.unicast.hosts: ["192.168.73.66:9300", "192.168.73.66:9301", "192.168.73.66:9302"]

修改/esnode2/config/elasticsearch.yml文件

#集群名称
cluster.name: my-cluster
#节点名称
node.name: "es-node-2"
#定义1为主节点
node.master: true
#定义节点2节点3为数据节点
node.data: true
#访问的IP地址，0.0.0.0表示不限制
network.host: 0.0.0.0
#访问端口号
http.port: 9202
#集群通讯端口号
transport.tcp.port: 9301

#所有节点的ip地址
discovery.zen.ping.unicast.hosts: ["192.168.73.66:9300", "192.168.73.66:9301", "192.168.73.66:9302"]

修改/esnode3/config/elasticsearch.yml文件

#集群名称
cluster.name: my-cluster
#节点名称
node.name: "es-node-3"
#定义1为主节点
node.master: true
#定义节点2节点3为数据节点
node.data: true
#访问的IP地址，0.0.0.0表示不限制
network.host: 0.0.0.0
#访问端口号
http.port: 9203
#集群通讯端口号
transport.tcp.port: 9302

#所有节点的ip地址
discovery.zen.ping.unicast.hosts: ["192.168.73.66:9300", "192.168.73.66:9301", "192.168.73.66:9302"]

注意： Elasticsearch 默认的 JVM 堆大小是最小/最大 1 GB，所以我使用的虚拟机的内存必须是4G因为你启动了三个服务要确保它们能各分1G正常启动，否则就会报错内存不足无法启动。

分别用es用户身份启动它们

image-20240511135028867

获取每个节点的信息

主节点es-node-1

image-20240511141235648

es-node-2

image-20240511141302381

es-node-3

image-20240511141314703

3、windows集群

创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务

image-20240511160311941

修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件

node-1001 节点：

#节点 1 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1001
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1001
#tcp 监听端口
transport.tcp.port: 9301
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"]
#discovery.zen.fd.ping_timeout: 1m
#discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

node-1002 节点：

#节点 2 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1002
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1002
#tcp 监听端口
transport.tcp.port: 9302
discovery.seed_hosts: ["localhost:9301"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

node-1003 节点：

#节点 3 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1003
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1003
#tcp 监听端口
transport.tcp.port: 9303
#候选主节点的地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9301", "localhost:9302"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

如果节点中有data目录需要先删除再逐一启动。

image-20240511161816546

查看一下集群

image-20240511161930994

localhost:1001/_cluster/health

image-20240511162031377
向主节点中添加一个索引user

image-20240511162817264

分别在节点2和3中查询一下

image-20240511163018436

Fiercezm
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Elasticsearch集群环境搭建
01-07
Es集群搭建核心思想  1.配置相同集群名称  2.配置不同的节点ID  3.修改X台服务器elasticsearch.yml配置 服务器环境->准备三台服务器集群 服务器集群配置： ## 修改elasticsearch.yml文件 [root@chenxi elastic...
Linux搭建ElasticSearch集群环境
coolxiaoqi的博客
02-21 241
Linux搭建ElasticSearch集群环境及遇见的坑
ElasticSearch集群的搭建
zhiyikeji的博客
02-07 2730
ES集群是一个P2P类型(使用 gossip 协议)的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。在 Elasticsearch 2.0 之前，无阻碍的网络下，所有配置了相同 cluster.name 的节点都自动归属到一个集群中。pretty进行查看。当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行 搜索和其他操作。
Elasticsearch最详细集群环境搭建
tom的博客
10-19 958
Elasticsearch最详细集群环境搭建
windows环境搭建ElasticSearch集群
gaofei05123的博客
01-29 801
windows下搭建ES集群
linux 搭建elasticsearch 集群环境（包含x-pack）
天缸的博客
04-21 576
linux中elasticsearch集群搭建并配置x-pack
配置ElasticSearch集群环境账号密码
m0_67401660的博客
04-29 1428
1.修改主站点的elasticsearch.yml添加一下行： xpack.security.enabled: true 2.生成安全秘钥 切到ES安装目录，执行bin/elasticsearch-certutil ca -out config/elastic-certificates.p12 -pass “” 会在/home/elasticsearch-7.9.3/config目录生成elastic-certificates.p12 3.继续修改ES yml文件 添加以下四行： xpack.securit
ElasticSearch 集群搭建
小识的博客
12-19 1185
分发完成后，其他集群节点都需要修改配置文件server.properties中的 broker.id 和listeners 参数。在kafka-server-start.sh中加上export JMX_PORT=“9999”，分发到各个节点，然后重启即可。我在本地mac上启动代码调试时报了如下一个错误，拉取不到元数据，搜了一下是因为本地hosts文件没有配置域名映射的关系。执行 zk.sh start 都正常启动了，但是执行zk.sh status 显示如下。为了方便启动和关闭集群，写一个脚本zk.sh。
Elasticsearch(4) 利用docker-compose搭建es8集群环境
embelfe_segge的博客
09-02 781
阅读本文的前提要求：1. 了解docker 、docker compose部分概念。2. 已在本地搭建docker 运行环境。
ElasticSearch集群搭建.doc
12-15
采用三台CentOS7.2部署Elasticsearch集群，部署Elasticsearch集群就不得不提索引分片，以下是索引分片的简单介绍。
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
一键部署elasticsearch集群/单机版shell脚本(适用于Centos7 x86服务器)
04-21
该安装包实现利用给定参数安装单机版或者集群版es数据库，指定参数后安装过程全自动，自动修改系统内核，配置jdk，自动识别并配置内存，自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
Linux环境Elasticsearch集群部署及kibana安装笔记
01-09
Elasticsearch集群部署及kibana安装笔记Elasticsearch集群部署部署步骤1. 使用root账户创建用户2. 上次相关安装包3. 安装java（如已经安装，可不需要重复）4. 安装ES5. JVM 配置6. 修改系统配置7. 启动elasticsearch...
容器化：ES和Kibana
天然玩家的博客
05-18 774
容器化ES和Kibana方便数据查询和统计。
es索引同步
yusheng_xyb的博客
05-18 361
使用MQ的优势是代码解耦，但是需要处理消息可靠性的问题有一定的技术成本，做到消息可靠性需要做到生产者投递成功、消息持久化以及消费者消费成功三个方面，另外还要做好消息幂等性问题。通过向索引中添加文章信息最终实现了课 程的搜索，我们发现文章信息是先保存在关系数据库中，而后再写入索引，这个过程是将关系数据中的数据同步到elasticsearch索引中的过程，可以简单成为索引同步。为了避免重复索引已经存在且未更新的数据，可以使用增量同步策略，仅同步新增和更新的数据，同时删除已经被标记删除的数据。
Git常用操作
最新发布
Justice
05-21 490
合并分支a到分支b，–no-ff参数表示禁用Fast forward模式，合并后的历史有分支，能看出曾经做过合并，而-ff参数表示使用Fast forward模式，合并后的历史变成一条直线。rebase 不会产生新的提交，而是把当前分支的每一个提交都“复制”到目标分支上，然后再把当前分支指向目标分支，而merge会产生一个新的提交，这个提交有两个分支的所有修改。创建一个新的提交，用来撤销指定的提交，后者的所有变化将被前者抵消，并且应用到当前分支。查看所有本地分支，-r 查看远程分支，-a查看所有分支。
easy-es EsAutoConfiguration RestHighLevelClient 没有自动注入配置
焺爅
05-21 211
而我使用的框架是springboot3，springboot3扫描的是META-INF/spring/org.springframework.boot.autoconfigure.AutoConfiguration.import。我用的easy-es.version 是 2.0.0-beta1，是基于springboot2开发的，自动注入配置的目录扫描的是META-INF/spring.factories文件；第二步：启动类需要加注解@Import。
linux环境搭建Elasticsearch集群方法详细说明
04-04
概述： Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎，它可以处理大量结构化和非结构化数据。在本文中，我们将了解如何在Linux环境中搭建Elasticsearch集群。 步骤： 步骤1：安装Java 在安装Elasticsearch之前，Java是必需的。您可以使用以下命令从命令行安装Java： ``` sudo apt-get update sudo apt-get install default-jre ``` 步骤2：下载和安装Elasticsearch 您可以从Elasticsearch官方网站下载最新版本的Elasticsearch。下载完成后，您可以使用以下命令安装它： ``` sudo dpkg -i elasticsearch-7.10.1-amd64.deb ``` 步骤3：配置Elasticsearch 默认情况下，Elasticsearch将在本地主机上运行。您可以通过编辑以下文件来更改默认配置： ``` sudo nano /etc/elasticsearch/elasticsearch.yml ``` 在此文件中，您可以更改以下设置： - cluster.name：设置集群名称。 - node.name：设置节点名称。 - network.host：设置网络接口。 - http.port：设置HTTP端口。 步骤4：启动Elasticsearch 要启动Elasticsearch，请使用以下命令： ``` sudo systemctl start elasticsearch ``` 要检查Elasticsearch是否正在运行，请使用以下命令： ``` sudo systemctl status elasticsearch ``` 步骤5：配置Elasticsearch集群 要配置Elasticsearch集群，请编辑以下文件： ``` sudo nano /etc/elasticsearch/elasticsearch.yml ``` 在该文件中，您可以使用以下设置来配置集群： - cluster.name：设置集群名称。 - node.name：设置节点名称。 - network.host：设置网络接口。 - http.port：设置HTTP端口。 - discovery.seed_hosts：设置种子主机列表。 在配置文件中，您还需要更改以下设置： ``` cluster.initial_master_nodes: ["node-1", "node-2"] ``` 此设置定义了集群中的初始主节点。您需要在每个节点上设置不同的名称。 步骤6：启动Elasticsearch集群 要启动Elasticsearch集群，请使用以下命令： ``` sudo systemctl start elasticsearch ``` 要检查Elasticsearch集群是否正在运行，请使用以下命令： ``` curl -X GET "http://localhost:9200/_cluster/health?pretty=true" ``` 此命令将显示有关集群的健康状态信息。 结论： 在本文中，我们了解了如何在Linux环境中搭建Elasticsearch集群。我们从安装Java开始，然后下载和安装Elasticsearch。接下来，我们配置了Elasticsearch，并启动了它。最后，我们配置了Elasticsearch集群，并启动了它。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fiercezm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值