搭建Elasticsearch集群

最新推荐文章于 2024-06-06 11:48:39 发布
最新推荐文章于 2024-06-06 11:48:39 发布
阅读量294 收藏
点赞数 1
分类专栏： Elasticsearch 文章标签： Java Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43467990/article/details/102743950
版权

搭建步骤（以三个节点为例）

  • 拷⻉elasticsearch-7.2.0安装包3份，分别命名elasticsearch-7.2.0-a,
    elasticsearch-7.2.0-b, elasticsearch-7.2.0-c。
    分别修改elasticsearch.yml⽂件。 分别启动a ,b ,c 三个节点。
    打开浏览器输⼊：http://localhost:9200/_cat/health?v ,如果返回的node.total是3，代表集
    群搭建成功

配置elasticsearch.yml

[work@localhost elasticsearch-7.2.0]$ cd config/
[work@localhost config]$ vim elasticsearch.yml

以下是三个节点配置文件 注释部分未粘贴

**节点1**
#集群名称
cluster.name: my-application
#节点名称
node.name: node-1 #是不是有资格主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#网关地址
network.host: 0.0.0.0
#端口
http.port: 9200
#内部节点之间沟通端⼝
transport.tcp.port: 9300
#es7.x 之后新增的配置，写候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.80.130:9300","192.168.80.130:9400","192.168.80.130:9500"]
#es7.x 之后新增的配置，初始化⼀个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"] #数据和存储路径
path.data: /home/work/data
path.logs: /home/work/logs


节点2
#集群名称
cluster.name: my-application
#节点名称
node.name: node-2 #是不是有资格主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#网关地址
network.host: 0.0.0.0
#端口
http.port: 9201
#内部节点之间沟通端⼝
transport.tcp.port: 9400
#es7.x 之后新增的配置，写候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.80.130:9300","192.168.80.130:9400","192.168.80.130:9500"]
#es7.x 之后新增的配置，初始化⼀个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"] #数据和存储路径
path.data: /home/work/data
path.logs: /home/work/logs


节点3
#集群名称
cluster.name: my-application
#节点名称
node.name: node-3 #是不是有资格主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#网关地址
network.host: 0.0.0.0
#端口
http.port: 9202
#内部节点之间沟通端⼝
transport.tcp.port: 9300
#es7.x 之后新增的配置，写候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["192.168.80.130:9300","192.168.80.130:9400","192.168.80.130:9500"]
#es7.x 之后新增的配置，初始化⼀个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"] #数据和存储路径
path.data: /home/work/data
path.logs: /home/work/logs

Kibana

进入kibana目录（安装步骤请自行查找非常简单）
编辑kibana.yml

[work@localhost ~]$ cd kibana-7.2.0-linux-x86_64
[work@localhost kibana-7.2.0-linux-x86_64]$ cd c
-bash: cd: c: 没有那个文件或目录
[work@localhost kibana-7.2.0-linux-x86_64]$ cd config/
[work@localhost config]$ ls
kibana.yml
[work@localhost config]$ vim kibana.yml

取消默认注释修改为

elasticsearch.hosts: ["http://localhost:9200","http://localhost:9201","http://localhost:9202"]

保存退出。

启动kibana

[work@localhost kibana-7.2.0-linux-x86_64]$ cd bin/
[work@localhost bin]$ sh kibana

启动成功提示

  log   [07:37:32.955] [info][status][plugin:kibana@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:32.963] [info][status][plugin:elasticsearch@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:32.965] [info][status][plugin:xpack_main@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:32.974] [info][status][plugin:graph@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:32.985] [info][status][plugin:monitoring@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:32.987] [info][status][plugin:spaces@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:32.995] [warning][security] Generating a random key for xpack.security.encryptionKey. To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in kibana.yml
  log   [07:37:32.997] [warning][security] Session cookies will be transmitted over insecure connections. This is not recommended.
  log   [07:37:33.019] [info][status][plugin:security@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.020] [info][status][plugin:searchprofiler@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.026] [info][status][plugin:ml@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.061] [info][status][plugin:tilemap@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.063] [info][status][plugin:watcher@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.072] [info][status][plugin:grokdebugger@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.077] [info][status][plugin:dashboard_mode@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.081] [info][status][plugin:logstash@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.088] [info][status][plugin:beats_management@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.103] [info][status][plugin:apm_oss@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.114] [info][status][plugin:apm@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.115] [info][status][plugin:code@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.118] [info][status][plugin:tile_map@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.120] [info][status][plugin:task_manager@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.123] [info][status][plugin:maps@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.129] [info][status][plugin:interpreter@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.139] [info][status][plugin:canvas@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.145] [info][status][plugin:license_management@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.147] [info][status][plugin:cloud@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.148] [info][status][plugin:index_management@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.160] [info][status][plugin:console@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.162] [info][status][plugin:console_extensions@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.169] [info][status][plugin:notifications@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.171] [info][status][plugin:index_lifecycle_management@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.182] [info][status][plugin:metrics@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.209] [info][status][plugin:infra@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.211] [info][status][plugin:rollup@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.219] [info][siem] Plugin initializing
  log   [07:37:33.239] [info][siem] Plugin done initializing
  log   [07:37:33.240] [info][status][plugin:siem@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.245] [info][status][plugin:remote_clusters@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.249] [info][status][plugin:cross_cluster_replication@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.259] [info][status][plugin:translations@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.269] [info][status][plugin:upgrade_assistant@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.281] [info][status][plugin:uptime@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.285] [info][status][plugin:oss_telemetry@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.287] [warning][encrypted_saved_objects] Generating a random key for xpack.encrypted_saved_objects.encryptionKey. To be able to decrypt encrypted saved objects attributes after restart, please set xpack.encrypted_saved_objects.encryptionKey in kibana.yml
  log   [07:37:33.287] [info][status][plugin:encrypted_saved_objects@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.296] [info][status][plugin:snapshot_restore@7.2.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [07:37:33.298] [info][status][plugin:data@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.312] [info][status][plugin:ui_metric@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.402] [info][status][plugin:timelion@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:33.671] [info][status][plugin:elasticsearch@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.706] [info][license][xpack] Imported license information from Elasticsearch for the [data] cluster: mode: basic | status: active
  log   [07:37:33.713] [info][status][plugin:xpack_main@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.713] [info][status][plugin:graph@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.715] [info][status][plugin:searchprofiler@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.715] [info][status][plugin:ml@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.716] [info][status][plugin:tilemap@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.717] [info][status][plugin:watcher@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.717] [info][status][plugin:grokdebugger@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.717] [info][status][plugin:logstash@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.718] [info][status][plugin:beats_management@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.719] [info][status][plugin:index_management@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.719] [info][status][plugin:index_lifecycle_management@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.720] [info][status][plugin:rollup@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.720] [info][status][plugin:remote_clusters@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.720] [info][status][plugin:cross_cluster_replication@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.721] [info][status][plugin:snapshot_restore@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:33.721] [info][kibana-monitoring][monitoring] Starting monitoring stats collection
  log   [07:37:33.763] [info][status][plugin:maps@7.2.0] Status changed from yellow to green - Ready
  log   [07:37:34.305] [warning][browser-driver][reporting] Enabling the Chromium sandbox provides an additional layer of protection.
  log   [07:37:34.343] [warning][reporting] Generating a random key for xpack.reporting.encryptionKey. To prevent pending reports from failing on restart, please set xpack.reporting.encryptionKey in kibana.yml
  log   [07:37:34.350] [info][status][plugin:reporting@7.2.0] Status changed from uninitialized to green - Ready
  log   [07:37:34.547] [info][listening] Server running at http://0.0.0.0:5602
  log   [07:37:34.557] [info][status][plugin:spaces@7.2.0] Status changed from yellow to green - Ready

访问 ip:5602 进入kibana
在这里插入图片描述

点击
在这里插入图片描述
进入后
在这里插入图片描述
在这里插入图片描述
证明集群搭建成功。

设置索引分片，保证每个服务上都要有一个主分片

创建索引(指定分⽚数量)

"settings": { "number_of_shards": 3, "number_of_replicas": 1 },

在这里插入图片描述

手动移动分片

在这里插入图片描述

修改副分片数量

在这里插入图片描述

查看集群健康状态

status ：集群的状态，red红表示集群不可⽤，有故障。yellow⻩表示集群不可靠但可⽤，
⼀般单节点时就是此状态。green正常状态，表示集群⼀切正常。
node.total ：节点数，这⾥是3，表示该集群有三个节点。
node.data ：数据节点数，存储数据的节点数，这⾥是3。
shards ：表示我们把数据分成多少块存储。
pri ：主分⽚数，primary shards
active_shards_percent ：激活的分⽚百分⽐，这⾥可以理解为加载的数据分⽚数，只有加
载所有的分⽚数，集群才算正常启动，在启动的过程中，如果我们不断刷新这个⻚⾯，我们会发
现这个百分⽐会不断加⼤。

查看集群索引数

http://ip:9200/_cat/indices?v
在这里插入图片描述

health ： 索引健康，green为正常，yellow表示索引不可靠（单节点），red索引不可⽤。
与集群健康状态⼀致。
status ： 状态表明索引是否打开，只索引是可以关闭的。
index ： 索引的名称
uuid ： 索引内部分配的名称，索引的唯⼀表示
pri ： 集群的主分⽚数量
docs.count ： 这⾥统计了⽂档的数量。
docs.deleted ： 这⾥统计了被删除⽂档的数量。
store.size ： 索引的存储的总容量
pri.store.size ： 主分别的容量

查看磁盘分配情况

http://ip:9200/_cat/allocation?v
在这里插入图片描述

shards ： 该节点的分⽚数量
disk.indices ： 该节点中所有索引在该磁盘所点的空间。
disk.used ： 该节点已经使⽤的磁盘容量
disk.avail ： 该节点可以使⽤的磁盘容量
disk.total ： 该节点的磁盘容量

查看集群的节点信息

http://ip:9200/_cat/nodes?v

在这里插入图片描述
ip ： ip地址
heap.percent ： 堆内存使⽤情况
ram.percent ： 运⾏内存使⽤情况
cpu ： cpu使⽤情况
master ： 是否是主节点

查看集群其他信息

http://ip:9200/_cat
在这里插入图片描述

山海丶皆可平
关注
专栏目录
【安装手册】在CentOS搭建Elasticsearch集群
Do one thing, do it well.
09-19 173
可参考：https://blog.csdn.net/henryitgd/article/details/132957581。3台虚拟机：192.168.59.191、192.168.59.192、192.168.59.193。报错 can not run elasticsearch as root。
docker搭建ElasticSearch集群
qq_46127735的博客
06-07 2336
docker搭建ElasticSearch集群 创建挂载目录 进入config文件里面创建es配置文件 查询防火墙状态 关闭防火墙 （只执行这个，重启后不行，还必须执行在 目录下创建 es1.yml，es2.yml，es3.yml 编辑es1.yml 执行 命令 可以查看自己的宿主ip,找到 例如 ：es2.yml es3.yml 3.调高JVM线程数限制数量 在centos窗口中，修改配置 加入如下内容： 启用配置： 三、启动ElasticSearch集.........
Kibana安全特性之权限控制
weixin_34024034的博客
08-21 1071
1.  前言 在之前的例子中，我们都是直接输入地址访问的，系统也没有提示我们要输入用户名密码。但是，在实际使用过程中不大可能所有人都是超级管理员可以做任何操作，一定是有权限控制的，这里我们借助X-Pack插件来实现（PS：X-Pack是收费的，可以申请试用30天。）   2.  安装X-Pack 用下列命令安装插件： bin/kibana-plugin install &lt...
Kibana 启用告警功能
imonkeyi的博客
12-17 4629
要求： Elasticsearch 集群启用了最低级别的安全设置，也就是设置了用户名和密码 在 Kibana 的配置文件中，添加 xpack.encryptedSavedObjects.encryptionKey 设置，它的值为至少 32 为的字符，比如 xpack.encryptedSavedObjects.encryptionKey: 'fhjskloppd678ehkdfdlliverpoolfcr' ...
当kibana出现warn信息为“please set xpack.security.encryptionKey in kibana.yml“的解决方法
weixin_42715225的博客
03-25 5323
前言 … … warning信息 [warning][config][plugins][security] Generating a random key for xpack.security.encryptionKey. To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in kibana.yml [warning][config][plugins][security
es服务的xpack加密于 kibana的监控key配置
fiewen的博客
06-06 1331
请注意，更改加密密钥将导致所有之前加密的保存对象无法访问，除非您有旧密钥的备份。#注意 这三个值必须进行格外的保存，因为如果忘记了加密密钥，或者需要更改它，您需要重新生成一个新的密钥，并更新 #kibana.yml 文件中的配置。5.X版本之前：没有x-pack，是独立的：security安全,watch查看，alert警告等独立单元。5.X版本：对原本的安全，警告，监视，图形和报告做了一个封装，形成了x-pack。6.3版本及之后：已经集成在一起发布，无需额外安装，基础安全属于付费黄金版内容。
Observability：使用 Elastic Agent 来摄入日志及指标 - Elastic Stack 8.0
Elastic 中国社区官方博客
02-16 5971
如果你已经安装过最近的 Elastic Stack 的话，你可能已经发现 Beats 已经不是推荐的数据摄入方式，取而代之的是 Elastic Agent。 ....
构建数据搜索的超级引擎：如何搭建 Elasticsearch 集群
最新发布
07-18
### 构建数据搜索的超级引擎：如何搭建 Elasticsearch 集群 Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 风格的搜索和分析引擎，广泛应用于处理大规模数据的搜索、分析和存储任务。本文旨在深入...
使用docker快速搭建Elasticsearch集群.pdf
11-23
下面将详细介绍如何使用Docker快速搭建Elasticsearch集群。 首先，确保你的系统满足运行Elasticsearch的基本需求。在Linux环境下，特别要注意`vm.max_map_count`这个内核参数。Elasticsearch需要大量的内存映射来...
docker搭建Elasticsearch集群
qq_43555873的博客
05-16 1287
.拉取es镜像 2.配置配置文件 3.启动容器 4.启动过程中遇到的问题 5.查看容器启动情况 elasticsearch 集群搭建，elasticsearch head
kibana集成内部账号_kibana启动报错 连接elasticsearch
weixin_39629269的博客
12-21 1120
log [05:40:32.521] [warning][encrypted_saved_objects] Generating a random key for xpack.encrypted_saved_objects.encryptionKey. To be able to decrypt encrypted saved objects attributes after restart,...
ES概念和安装使用及中文分词器（Windows）
长臂人猿的博客
09-23 1467
准备 介绍一下本机实验环境： jdk 8 安装（java语言开发）,无关紧要； node.js安装 -> npm -v安装，之前安装过：参考VUE脚手架：VUE的路由使用说明和基于Hbuilder-x的环境部署及相关问题解决方案。 前言 Solr(读作“solar”)是Apache Lucene项目的开源企业搜索平台。Lucene只是一个框架。Solr在传统搜索中优于ES，其支持格式更多，功能更多，毕竟一个2004年一个2010诞生的。但是在实时建立索引的时候，solr会产生IO阻塞，故而ES更适
elasticsearch部署过程中各种报错解析
热门推荐
wang909125961的博客
02-27 3万+
elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root ES不能能使用root用户直接运行，必须使用普通用户运行。 解决办法：添加用户，ES安装目录的所有者。 adduser 用户名 chown -R 用户名:用户组名 目录路径 Exc...
kibana异常 License information from the X-Pack plugin could not be obtained from Elasticsearch
cominglately的博客
08-19 2万+
文章目录场景分析解决 场景 配置elasticsearch auth认证之后,发现kibana无法访问, 开到日志 { "type":"log", "@timestamp":"2019-08-19T09:16:54Z", "tags":[ "license", "warning", "xpack" ], "...
你还在用命令看日志？快用 Kibana 吧，一张图胜过千万行日志
方志朋的博客
06-06 116
欢迎关注方志朋的博客，回复”666“获面试宝典链接：https://www.cnblogs.com/cjsblog/p/9476813.htmlKibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地...
elasticsearch安装记录
公子的专栏
06-17 2万+
一、ES安装 1. 下载安装包，并解压 官网地址： https://www.elastic.co/ 下载后安装： $ unzip elasticsearch-2.3.2.zip 2. 启动 进入bin目录 $ ./elasticsearch -d 注：./elasticsearch --help 查看其它选项 如果启动不成功， 报错“add -XX
CentOS7 安装ElasticSearch6.4 （二） Kibana6.4的安装
暗黑世界
09-04 526
零：铺垫 Kibana作为ELK中的K，起到管理ElasticSearch并提供可视化界面的功能。建议安装版本与ElasticSearch一致 一、准备工作 ElasticSearch的安装及服务器的规划 请点击这里 为了方便起见，这次操作用户和安装目录与ElasticSearch一致，都是esuser。 老版本貌似还需要安装 ...
kibana安装问题集合
xhuiting的博客
05-21 252
警告1：[warning][security] Generating a random key for xpack.security.encryptionKey. To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in kibana.yml。# 注意：参数值至少32位，否则启动会报错提示。
搭建Elasticsearch集群：安装与配置IK分词插件
在搭建Elasticsearch集群时，首先需要进行软件的安装。在描述中提到的步骤是： 1. 使用`sudo rpm -ivh elasticsearch-5.6.8.rpm`命令安装Elasticsearch的RPM包。确保你已经下载了对应的RPM包，并且这个版本（5.6.8...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值