elasticsearch集群搭建、x-pack配置、kibana安装配置

前言

关于本帖，最近比较忙，写的某些地方进行一笔带过，后续有时间继续补充。此做暂记，以免遗忘。

准备

• elasticsearch-7.6.2.tar.gz
• jdk-11.0.12+7.tar.gz
• jdk8(已安装)
• kibana-7.6.2.tar.gz
• 安装用户（非root，这里使用的qxc用户，并赋予 sudo 权限）
• 安装机器ip目录

ip
10.186.11.66
10.186.11.67
10.186.11.68

一、安装elasticsearch

1. 解压文件到安装目录

tar -zxvf elasticsearch-7.6.2.tar.gz
tar -zxvf jdk-11.0.12+7.tar.gz

2. 分别各个节点创建elasticsearch数据、日志文件夹。

mkdir -p /home/elasticsearch-7.6.2/{data,logs}

2. 分别各个节点配置jvm.options

vim /home/elasticsearch-7.6.2/config/jvm.options
# 修改为2g
-Xms2g
-Xmx2g

3. 分别各个节点修改/etc/sysctl.conf

sudo vim /etc/sysctl.conf
# 添加
vm.max_map_count=655360
# 配置生效
sudo sysctl -p

4. 配置x-pack

1. 生成证书文件
   只需要在一台机器上生成即可

cd /home/elasticsearch-7.6.2
bin/elasticsearch-certutil ca
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

直接回车，会在elasticsearch家目录生成 elastic-stack-ca.p12和elastic-certificates.p12两个文件。

2. 证书移动到config/certs下

cd /home/elasticsearch-7.6.2
mkdir config/certs
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs
# 需要查看下文件权限（读写）
[qxc@8c32g--3 elasticsearch-7.6.2]$ ll config/certs/
total 8
-rw------- 1 migu migu 3451 Feb  7 17:24 elastic-certificates.p12
-rw------- 1 migu migu 2527 Feb  7 17:24 elastic-stack-ca.p12

将生成的证书分别拷贝到其他2台机器上，放在同样的位置

cd /home/elasticsearch-7.6.2
scp config/certs/* 10.186.111.67:/home/elasticsearch-7.6.2/config/certs
# 输入对应机器密码 68 同理

5. 分别各个节点修改elasticsearch.yml文件

cd /home/elasticsearch-7.6.2
vim config/elasticsearch.yml

修改为以下内容：
这里以66为例，其他
node.name: 66,67,68节点分别输入node-es-67、node-es-68；
network.host: 10.186.111.66。67,68节点分别输入10.186.111.67、10.186.111.68。

cluster.name: es-cluster
node.name: node-es-66
node.master: true
node.data: true
path.data: /home/elasticsearch-7.6.2/data
path.logs: /home/elasticsearch-7.6.2/logs
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 10.186.111.66 
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.186.111.66:9300","10.186.111.67:9300","10.186.111.68:9300"]
cluster.initial_master_nodes: ["node-es-66", "node-es-67","node-es-68"]
http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

gateway.expected_data_nodes: 5
gateway.recover_after_time: 10m
gateway.recover_after_data_nodes: 4

6. 启动文件

1. 分别各个节点新增启动文件

sudo vim /usr/lib/systemd/system/elasticsearch.service 
# 新增
[Unit]
Description=elasticsearch service
After=syslog.target
After=network.target

[Service]
User=qxc
Group=qxc
LimitNOFILE=655350
LimitNPROC=320000
LimitMEMLOCK=infinity
Restart=on-failure
KillMode=process
Environment=JAVA_HOME=/home/jdk-11.0.12+7
ExecStart=/home/elasticsearch-7.6.2/bin/elasticsearch
ExecReload=/bin/kill -HUP \$MAINPID
RestartSec=10s

[Install]
WantedBy=multi-user.target

2. 分别各个节点启动elasticsearch

# 重新加载
sudo systemctl daemon-reload
# 启动程序
sudo systemctl start elasticsearch.service

3. 常用命令：

# 开机启动
sudo systemctl enable elasticsearch.service
# 查看运行状态
sudo systemctl status elasticsearch.service
# 重新启动
sudo systemctl restart elasticsearch.service
# 关闭服务
sudo systemctl stop elasticsearch.service

# 查看启动日志
sudo journalctl -fu elasticsearch.service

7. 设置账号密码

cd /home/elasticsearch-7.6.2
bin/elasticsearch-setup-passwords interactive
# 执行完之后，输入密码
# 这里设置ES内置elastic、apm_system、logstash_system、kibana等内置用户，需要分别为这些账户设置密码，密码中尽量不要包含@、$等特殊符号，有坑。

附：生成随机密码地址

8. 测试

curl -u elastic:passwd -XGET 'http://10.186.111.66:9200/_cat/nodes?v'
# 或者浏览器直接访问 http://10.186.111.66:9200
# 输入用户名密码

一些常用操作

# 修改密码
curl -XPOST --user elastic:passwd "http://10.186.111.66:9200/_security/user/elastic/_password" -H 'Content-Type: application/json' -d '{"password":"newpasswd"}'

二、安装kibana

1. 修改配置文件

tar -zxvf kibana-7.6.2.tar.gz
vim /home/kibana-7.6.2/conf/kiban.yml

文件内容：

elasticsearch.hosts: ["http://10.186.111.66:9200","http://10.186.111.67:9200","http://10.186.111.68:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "passwd"

2. 编写启动文件

sudo vim /usr/lib/systemd/system/kibana.service 
# 重新加载
sudo systemctl daemon-reload

[Unit]
Description=kibana service daemon
After=network.target
[Service]
User=qxc
Group=qxc
LimitNOFILE=65536
LimitNPROC=4096
ExecStart=/home/kibana-7.6.2/bin/kibana
ExecReload=/bin/kill -HUP \$MAINPID
KillMode=process
Restart=on-failure
RestartSec=10s
[Install]
WantedBy=multi-user.target

2. 启动

sudo systemctl start kibana.service 
sudo systemctl stop kibana.service 
sudo systemctl enable kibana.service
sudo systemctl status kibana.service
sudo journalctl -fu kibana.service

3. 测试

浏览器访问地址：

http://10.186.111.66:5601/kibana/login