Elasticsearch 集群搭建实战与踩坑指南（包括Elasticsearch安装、开启认证、开启SSL安全连接、集群通信配置）

已于 2022-03-22 20:03:21 修改
阅读量2.6k 收藏 2
点赞数
分类专栏： # ElasticSearch 文章标签： elk elasticsearch es 数据分析
于 2022-03-22 18:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingshiyunwei/article/details/123665473
版权

Elasticsearch 集群搭建实战与踩坑指南

  • 产品：Elasticsearch
  • 版本：7.14.0
  • 环境：Centos7

文章目录

前期准备

版本选择

  • Elasticsearch v7.14.0

主机规划

主机名主机IP角色部署路径
esmaster1100.253.1.49master/xswork
esnode1100.253.232.24data/xswork

安装包下载

# 进入工作目录
cd /work
# 拉取安装包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-linux-x86_64.tar.gz

服务器配置

  • /etc/hosts

说明：配置后可用主机名代替IP地址，方便后续的配置与维护

# 最后一行添加
100.253.1.49 esmaster1
100.253.232.24 esnode1
  • /etc/security/limits.conf

说明：
1.启动elasticsearch nofile 最少需要 65536
2.memlock 过小会导致 elasticsearch 锁定内存失败，导致无法启动

# 修改最大打开文件数
* soft nofile 65536
* hard nofile 65536

# 修改最大锁定内存地址空间
* soft memlock unlimited
* hard memlock unlimited

- **/etc/sysctl.conf**

说明：最大虚拟内存大小默认为65530，elasticsearch 启动需要 262144

vm.max_map_count=786432

配置启动

解压

# 进入工作目录
cd /work
# 解压
tar -zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz

生成 Elastic 安全证书

在主节点执行如下语句生成证书

cd elasticsearch-7.14.0
./bin/elasticsearch-certutil ca

This tool assists you in the generation of X.509 certificates and certificate
signing requests for use with SSL/TLS in the Elastic stack.

The 'ca' mode generates a new 'certificate authority'
This will create a new X.509 certificate and private key that can be used
to sign certificate when running in 'cert' mode.

Use the 'ca-dn' option if you wish to configure the 'distinguished name'
of the certificate authority

By default the 'ca' mode produces a single PKCS#12 output file which holds:
    * The CA certificate
    * The CA's private key

If you elect to generate PEM format certificates (the -pem option), then the output will
be a zip file containing individual files for the CA certificate and private key

Please enter the desired output file [elastic-stack-ca.p12]:  # 回车即可
Enter password for elastic-stack-ca.p12 :                     # 回车即可

在上面我们接受缺省的文件名，并输入一个自己熟悉的密码（针对我的情况，我接受空）。我们在 Elasticsearch 的安装目录下，我们可以看见一个生产的证书文件：elastic-stack-ca.p12

drwxr-xr-x.  2 elk elk   4096 7月  30 04:52 bin
drwxr-xr-x.  3 elk elk    260 8月  31 17:36 config
drwxrwxr-x.  4 elk elk     30 8月  25 18:51 data
-rw-------.  1 elk elk   2672 9月   1 14:21 elastic-stack-ca.p12
drwxr-xr-x.  9 elk elk    107 7月  30 04:52 jdk
drwxr-xr-x.  3 elk elk   4096 7月  30 04:52 lib
-rw-r--r--.  1 elk elk   3860 7月  30 04:47 LICENSE.txt
drwxr-xr-x.  2 elk elk   4096 8月  31 19:09 logs
drwxr-xr-x. 59 elk elk   4096 7月  30 04:53 modules
-rw-rw-r--.  1 elk elk   1414 8月  26 09:33 newfile.crt.pem
-rw-r--r--.  1 elk elk 615722 7月  30 04:51 NOTICE.txt
drwxr-xr-x.  2 elk elk      6 7月  30 04:51 plugins
-rw-r--r--.  1 elk elk   2710 7月  30 04:47 README.asciidoc

我们接着运行如下的命令来生成一个证书：

    ./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

Enter password for CA (elastic-stack-ca.p12) :                    # 回车即可
Please enter the desired output file [elastic-certificates.p12]:  # 回车即可
Enter password for elastic-certificates.p12 :                     # 使用生成elastic-stack-ca.p12时设置的密码

上面的命令将使用我们的 CA 来生成一个证书：elastic-certificates.p12

drwxr-xr-x.  2 elk elk   4096 7月  30 04:52 bin
drwxr-xr-x.  3 elk elk    260 8月  31 17:36 config
drwxrwxr-x.  4 elk elk     30 8月  25 18:51 data
-rw-------.  1 elk elk   3596 9月   1 14:25 elastic-certificates.p12
-rw-------.  1 elk elk   2672 9月   1 14:21 elastic-stack-ca.p12
drwxr-xr-x.  9 elk elk    107 7月  30 04:52 jdk
drwxr-xr-x.  3 elk elk   4096 7月  30 04:52 lib
-rw-r--r--.  1 elk elk   3860 7月  30 04:47 LICENSE.txt
drwxr-xr-x.  2 elk elk   4096 8月  31 19:09 logs
drwxr-xr-x. 59 elk elk   4096 7月  30 04:53 modules
-rw-rw-r--.  1 elk elk   1414 8月  26 09:33 newfile.crt.pem
-rw-r--r--.  1 elk elk 615722 7月  30 04:51 NOTICE.txt
drwxr-xr-x.  2 elk elk      6 7月  30 04:51 plugins
-rw-r--r--.  1 elk elk   2710 7月  30 04:47 README.asciidoc

把上面的 elastic-certificates.p12 证书分别拷入到主、数据节点 Elasticsearch 安装目录下的 config 子目录。

创建.pem 密钥，供kibana、Beta使用

openssl pkcs12 -in elastic-stack-ca.p12 -out newfile.crt.pem -clcerts -nokeys

创建用户

修改主节点配置文件

vi ./config/elasticsearch.yml
#esmaster
cluster.name: ITcls
node.name: esmaster1

network.host: 0.0.0.0

discovery.seed_hosts: ["esmaster1", "esnode1"]
cluster.initial_master_nodes: ["esmaster1"]

path.data: /xswork/elasticsearch-7.14.0/data/data
path.logs: /xswork/elasticsearch-7.14.0/data/logs

node.master: true
node.data: true
node.ingest: true
node.ml: true
cluster.remote.connect: false

http.port: 29210
transport.tcp.port: 29310

http.cors.enabled: true
http.cors.allow-origin: "*" 

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
# 使用 elastic-agent时开启
# xpack.security.authc.api_key.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

临时启动主节点

# 创建 data 目录
mkdir data
./bin/elasticsearch

在使用之前，我们必须为它们设置密码。在主节点 Elasticsearch 的目录里安装打入如下的命令，按照提示设置内置用户密码，在这个过程中选择你喜欢的密码来设置：

./bin/elasticsearch-setup-passwords interactive

如果你喜欢一个随机的密码，那么你可以使用如下的方式来创建你自己密码：

./bin/elasticsearch-setup-passwords auto

通过设置密码后，就可以使用内置用户登录 Elasticsearch ，内置用户列表如下：

elastic ：A built-in superuser. See Built-in roles. 
kibana  ：The user Kibana uses to connect and communicate with Elasticsearch. 
logstash_system ：The user Logstash uses when storing monitoring information in Elasticsearch. 
beats_system ：The user the Beats use when storing monitoring information in Elasticsearch. 
apm_system ：The user the APM server uses when storing monitoring information in Elasticsearch. 
remote_monitoring_user：The user Metricbeat uses when collecting and storing monitoring information in Elasticsearch. It has the remote_monitoring_agent and remote_monitoring_collector built-in roles.

创建用户成功之后测试登录成功后关闭主节点，进行下一步。

修改配置文件

主节点

vi ./config/elasticsearch.yml
#esmaster
cluster.name: ITcls
node.name: esmaster1

network.host: 0.0.0.0

discovery.seed_hosts: ["esmaster1", "esnode1"]
cluster.initial_master_nodes: ["esmaster1"]

path.data: /xswork/elasticsearch-7.14.0/data/data
path.logs: /xswork/elasticsearch-7.14.0/data/logs

node.master: true
node.data: true
node.ingest: true
node.ml: true
cluster.remote.connect: false

http.port: 29210
transport.tcp.port: 29310

http.cors.enabled: true
http.cors.allow-origin: "*" 

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
# 使用 elastic-agent时开启
# xpack.security.authc.api_key.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

xpack.security.http.ssl.enabled: true
xpack.security.authc.api_key.enabled: true
xpack.security.http.ssl.keystore.path: elastic-certificates.p12
xpack.security.http.ssl.truststore.path: elastic-certificates.p12

数据节点

cluster.name: ITcls
node.name: esnode1

network.host: 0.0.0.0

discovery.seed_hosts: ["esmaster1", "esnode1"]
cluster.initial_master_nodes: ["esmaster1"]

path.data: /xswork/elasticsearch-7.14.0/data/data
path.logs: /xswork/elasticsearch-7.14.0/data/logs

node.master: false
node.data: true
node.ingest: true
node.ml: true
cluster.remote.connect: false

http.port: 29210
transport.tcp.port: 29310

http.cors.enabled: true
http.cors.allow-origin: "*" 

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

xpack.security.http.ssl.enabled: true
xpack.security.authc.api_key.enabled: true
xpack.security.http.ssl.keystore.path: elastic-certificates.p12
xpack.security.http.ssl.truststore.path: elastic-certificates.p12

启动主节点

./bin/elasticsearch -d

我们已经在配置文件中配置https模式，在访问时需使用https，例如：https://100.253.1.49:29210。

启动数据节点

# 创建 data 目录
mkdir data
./bin/elasticsearch -d

检查集群状态

curl --user youruser:yourpasswd -XGET 'https://100.253.1.49:29210/_cluster/health?pretty' -k

{
  "cluster_name" : "ITcls",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 31,
  "active_shards" : 61,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

图形化界面cerebro安装

拉取压缩文件

wget https://github.com/lmenezes/cerebro/releases/download/v0.9.2/cerebro‐0.9.2.tgz

解压

tar ‐zxvf cerebro‐0.9.2.tgz

修改配置

# 将端口修改为自定义端口
vi cerebro-0.9.4/conf/application.conf 
play {
  # Cerebro port, by default it's 9000 (play's default)
  server.http.port = 29220
}

启动

nohup ./cerebro &

浏览器访问 http://ip地址：端口 测试，例如 http://100.253.1.49:29220

附录A:启动失败解决目录

#错误汇总以及对应的解决方法，生产环境下参数按实际情况而定
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
解决：修改文件描述符大小
vi /etc/security/limits.conf 文件后面加上 esuser为用户，也可以使用*
# 任何用户可以打开的最大的文件描述符数量，默认1024，这里的数值会限制tcp连接
# soft是一个警告值，而hard则是一个真正意义的阀值，超过就会报错
# soft的限制不能比hard限制高
* soft nofile 65536
* hard nofile 65536

[2]: memory locking requested for elasticsearch process but memory is not locked
解决：锁定内存失败
vi /etc/security/limits.conf 文件后面加上 *表示系统下的所有用户
#最大锁定内存地址空间，单位(KB)
* soft memlock unlimited
* hard memlock unlimited

[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决：最大虚拟内存太小
vi /etc/sysctl.conf 添加
vm.max_map_count=888888
最后执行命令 sysctl ‐p

[4]: max ERROR: bootstrap checks failed
修改elasticsearch.yml配置文件，允许外网访问。
vim config/elasticsearch.yml
增加 network.host: 0.0.0.0

[5]: other 启动用户不能是root用户，且关闭机器节点间的防火墙
防火墙关闭方式:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall‐cmd ‐‐state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

关注公众号，学习更多运维实战案例！

微信扫码关注公众号，学习更多运维实战案例

醒狮运维
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
解决Elasticsearch集群开启账户密码安全配置自相矛盾的坑
学渣程序员的博客
01-13 1万+
一、采坑过程 最近在配置elasticsearch生产可用的集群环境时，集群搭建完成后，为了安全，启用es集群的安全配置，根据官方文档Set up minimal security for Elasticsearch这一节来配置集群账户密码，然后就出现了开启安全模式后，./bin/elasticsearch-setup-passwords auto ，./bin/elasticsearch-setup-passwords interactive 两个命令均无法访问。提示集群健康状态无法检查，实际上就是集群本
Linux搭建ElasticSearch(ES)集群并设置密码登录
m0_61418822的博客
10-26 8820
Linux搭建ES集群，设置密码访问。
Elastic stack8.10.4搭建、启用安全认证，启用https，TLS，SSL 安全配置详解
最新发布
qq_53058639的博客
05-26 496
ELK大家应该很了解了，废话不多说开始部署kafka在其中作为消息队列解耦和让logstash高可用kafka和zk 的安装可以参考这篇文章。
胎教级Elasticsearch集群+安全配置+ssl配置，Kibana集群+安全配置+ssl配置
weixin_44742630的博客
09-28 6694
Elasticsearch部署及配置 1. 环境规划 IP地址 系统版本 角色 主机名 10.0.0.10 centos 8.4 es-node1 es00 10.0.0.11 centos 8.4 es-node2 es01 10.0.0.12 centos 8.4 es-node3 es02 10.0.0.15 centos 8.4 kibana-node1 kb01 10.0.0.16 centos 8.4 kibana-node2 kb02 2. 先决条件 1.
ES集群配置密码，使用Kibana连接并登录之后，经常自动退出并显示401“Unauthorized“错误代码
weixin_43210350的博客
11-18 5028
ES集群配置密码之后，使用Kibana连接并登录之后，经常自动退出并显示401"Unauthorized"错误代码 错误代码： { "statusCode": 401, "error": "Unauthorized", "message": "Unauthorized" } 刚开始的登录一切正常，执行几条命令之后就会报上面的错误， 刷新之后会重新退出。 解决办法： 在网上搜不到类似的情况，鼓捣半天，结果最后换了个浏览器就好了。。。（chrome换成了新版Edge） ...
elasticsearch集群简单登录配置
Jalen备忘录
05-14 684
elasticsearch集群登录配置 elasticsearch默认集群配置好是没有登录认证的，直接就进去了，包括kibana也是， 这样不太安全，所以添加一个登录的过程 网上有很多帖子说是在elasticsearch.yml配置下面这几种参数 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-headers: Authorization xpack.security.enabled: true xpac.
elasticsearch集群安全加密插件之search-guard
11-04
**Elasticsearch 集群安全加密插件 Search Guard** Search Guard是一款强大的安全解决方案，专为Elasticsearch设计，提供全面的数据保护、访问控制和安全监控功能。它可以帮助企业满足合规性要求，确保数据在传输和...
ElasticSearch 8.6集群搭建过程
08-22
【Elasticsearch 8.6集群搭建过程详解】 Elasticsearch 是一款强大的全文检索服务器，专为处理非结构化数据而设计。与结构化数据（通常存储在数据库中，通过SQL查询）不同，非结构化数据如文本、图片等无法用固定的...
windows搭建的ElasticSearch集群
05-11
总结来说，在Windows上搭建Elasticsearch集群涉及多个步骤，包括下载安装、配置节点角色、调整内存和文件权限、确保集群通信以及考虑安全和监控。通过以上步骤，你可以成功建立一个一主两从的Elasticsearch集群，...
kubernetes-elasticsearch-cluster：在Kubernetes之上的Elasticsearch集群变得容易
02-04
它可能包括YAML配置文件、自动化脚本或者一个 Helm 图表，使得部署Elasticsearch集群变得更加简单和自动化。这个项目可能涵盖了Elasticsearch节点的配置、服务发现、持久化存储、资源调度等关键环节，旨在优化在...
elasticsearch集群节点监控脚本异常通过mail465发送邮件通知.rar
07-03
标签"es 集群节点监控"表明脚本专注于Elasticsearch集群的节点监控，这通常包括检查节点是否在线、是否有未分配的分片、是否达到设定的负载阈值等。例如，脚本可能会检查 `_cluster/health` API以获取整体集群的健康...
elasticsearch+kibana集群安装部署并配置ssl连接
professorman的博客
09-27 2008
elasticsearch+kibana集群安装部署并配置ssl连接
启动elasticsearch卡住不动的原因
weixin_42427230的博客
01-03 3743
启动elasticsearch卡住不动
Elasticsearch：创建 Elasticsearch 多节点集群并为它们配置 TLS 安全通信
Elastic 中国社区官方博客
04-20 4521
在之前的文章中“如何在一个机器上同时模拟多个node”，我们介绍了如何在同一个机器中运行同一个Elasticsearch的安装，并创建一个多node的Elasticsearch集群。我们也在“Elastic：用Docker部署Elastic栈”文章中介绍了如何使用docker技术来创建多个node的Elasticsearch集群。在实际的应用中，我们可能需要在不同的机器中部署Elasticsear...
ElasticSearch集群搭建
weixin_45874214的博客
04-19 1973
es的集群搭建
ElasticSearch 集群搭建及相关原理解析
星空下的博客
07-10 1341
分布式系统的可用性与扩展性ES集群架构的优势：至关重要的作用 blogs对应的架构 对于生产环境中分片的设定，需要提前做好容量规划 集群 status Green: 主分片与副本都正常分配 Yellow: 主分片全部正常分配，有副本分片未能正常分配 Red: 有主分片未能分配。例如，当服务器的磁盘容量超过85%时,去创建了一个新的索引 CAT API查看集群信息： 搭建三节点ES集群 系统环境 操作系统: CentOS7，准备用户es elasticsearch：elasticsearch-7.17.
针对ES安装报错和K线波动异常的处理教程
主题模板站的博客
01-20 103
针对ES安装报错和K线波动异常的处理教程
Elasticsearch8.1.0 集群搭建（linux）
ljl_java的博客
04-22 2604
Elasticsearch8.1.0 集群搭建（linux）
Elasticsearch压测工具esrally：安装、配置与实战应用
Elasticsearch压测工具Elasticsearch Rally (esrally)是一个官方推荐的性能评估工具，它专门针对Elasticsearch进行测试，特别是在源码修改或应用调优时，可以用来验证优化效果。本文将详细介绍esrally的安装、配置、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醒狮运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值