ES集群安装

ES安装

环境

centos7 (关闭firewall和selinux)
JDK8
elasticsearch下载地址：https://www.elastic.co/downloads

安装步骤

1、安装JDK8

yum install -y java-1.8.0-openjdk

2、安装ES
增加elasticsearch的yum源

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/elastic.repo
[elasticsearch-7.x] 
name=Elasticsearch repository for 7.x packages 
baseurl=https://artifacts.elastic.co/packages/7.x/yum 
gpgcheck=1 
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
enabled=1 
autorefresh=1 
type=rpm-md

安装 elasticsearch

yum install -y elasticsearch

创建ES的日志目录和数据目录

mkdir -p /data/elasticsearch/log /data/elasticsearch/data && chown -R elasticsearch:elasticsearch /data/elasticsearch/ && chown -R elasicsearch:elasticsearch /etc/elasticsearch/

配置优化参数

vim /etc/elasticsearch/jvm.options
改  
22 -Xms1g # JVM 初始分配的堆内存 
23 -Xmx1g #JVM 最大可以使用的内存 
为： 
-Xms2g
-Xmx2g

配置集群参数

vim /etc/elasticsearch/elasticsearch.yml
改：33 path.data: /var/lib/elasticsearch 
为： path.data: /data/elasticsearch/data #数据和索引存放路径 
改：37 path.logs: /var/log/elasticsearch 
为：path.logs: /data/elasticsearch/log #日志存放路径
最后追加：
cluster.name: ES
node.name: ES-master
node.master:true
node.data:true
network.host: 192.168.34.16
http.port:9200
discovery.zen.ping.unicast.hosts: ["192.168.34.16","192.168.34.26","192.168.34.36"]
discovery.zen.minimum_master_nodes:2
gateway.recover_after_nodes:2
cluster.initial_master_nodes: ES-master

cluster.name: ES
node.name: ES-node
node.master:true
node.data:true
network.host: 192.168.34.26
http.port:9200
discovery.zen.ping.unicast.hosts: ["192.168.34.16","192.168.34.26","192.168.34.36"]
discovery.zen.minimum_master_nodes:2
gateway.recover_after_nodes:2
cluster.initial_master_nodes: ES-master

配置说明
cluster.name: ES 集群名称
node.name: ES-master 节点名称
node.master:true 允许该节点为主节点
node.data:true 这是数据节点
network.host: 192.168.34.16 监听IP
http.port:9200 ES的服务端口
discovery.zen.ping.unicast.hosts: [“192.168.34.16”,“192.168.34.26”,“192.168.34.36”] 集群单播发现主句，这个配置一般写主节点和备用节点的IP
discovery.zen.minimum_master_nodes:2 对集群的稳定性至关重要，可以防止脑裂的出现
tips: 集群脑裂
如果网络的故障导致一个集群被划分成两片，每片都有多个 node，以及一个 master。因为 master 是维护集群状态，以及 shard 的分配。如果出现了两个 master，可能导致数据破损。
只有足够的 master 候选节点时，才可以选举出 一个 master。该参数必须设置为集群中 master 候选节点的 quorum 数量
quorum 的算法=master 候选节点数量/2+1
举例：
1、如果有 10 个节点，都是 data node，也是 master 的候选节点。则 quorum=10/2+1=6
2、如果有 3 个 master 候选节点，100 个数据节点。则 quorum=3/2+1=2 3、如果有 2 个节点，都是 data node，也是 master 的候选节点。则 quorum=2/2+1=2（有问题） 如果其中一个节点挂了，那举 master 的候选节点只有一个，无法满足 quorum 数量。即无法选举出 master。此时只能将 quorum 设置成 1，但是设置为 1 有可能出现脑裂。
总结：一般 es 集群的节点至少要有 3 个，quorum 设置为 2

gateway.recover_after_nodes:2 #集群内达到该节点数量才会开始数据分片和 master 枚举
cluster.initial_master_nodes: ES-master 指定初始化master节点为ES-master，新版本不指定则集群不能完成初始化

启动ES集群

先启动主节点在启动备用节点

ststemctl enable --now elasticsearch && sleep 2 && systemctl status elasticsearch

netstat -anleutp | grep java

集群起来就可以对ES集群进行管理了