在Centos7中搭建elasticsearch5.4.0集群

使用工具：xshell5、xftp5

一、单节点安装elasticsearch

1、下载elasticsearch5.4.0安装包并解压

 tar -zxvf elasticsearch-5.4.0.tar.gz -C /usr/local/softwareinstall/      #将es安装文件解压到指定路径下

安装包下载路径：https://www.elastic.co/downloads/past-releases/elasticsearch-5-4-0

2、编辑安装文件夹下的配置文件

cd /usr/local/softwareinstall/elasticsearch-5.4.0/config

(1)编辑jvm.options

vim jvm.options      #主要设定 -Xms、-Xmx，最大不超过虚拟机内存的一半，添加下列配置

(2)编辑elasticsearch.yml

cluster.name: xuhongming
node.name: es-hadoop1
bootstrap.memory_lock: true
network.host: hadoop1
http.port: 9200
discovery.zen.ping.unicast.hosts: ["hadoop1", "hadoop2", "hadoop3"]
discovery.zen.minimum_master_nodes: 2

配置项说明

配置项	作用
cluster.name	集群的名字。只有配置了相同集群名的服务器才会被认为属于一个集群。
node.name	当前节点的名称。建议与hostname保持一致。
bootstrap.memory_lock	启动时锁定内存，确保堆大小为可用内存的一半
network.host	Elasticsearch绑定的地址。默认情况下,绑定的地址是127.0.0.1。由于我们是一个集群,为了节点之间能够互相通讯,所以我们需要配置自己的内网地址,这里由于我们配置过了hosts,所以可以直接写自己的hostname。
discovery.zen.ping.unicast.hosts	手动配置集群中各个节点的地址。这里我们采用的是单播的发现机制。
discovery.zen.minimum_master_nodes	这个值是为了防止“脑裂”用的。假设我们集群中的三个节点都可以被选为master(master-eligible), 但是由于一个节点由于网络问题,与其他两个节点无法通讯了,那么此时集群划分为了2+1。 如果这个节点将自己选为了master,那么此时就会出现两个master,也就是俗称的”脑裂“。 那么为了防止这单独的节点不会将自己选为master,就需要利用这个值。 比如我们这里配置的是2,那么这个节点发现自己只有1个人,就不会把自己选为master了,这样就避免了”脑裂“的情况。通常这个值等于(master_eligible_nodes / 2) + 1。在我们的例子中,就是(3 / 2) + 1 = 2。

3、linux系统参数设定

(1)修改linux内核参数

vim /etc/security/limits.conf         #编辑limits.cof文件，添加如下配置

#锁定内存
* soft memlock unlimited
* hard memlock unlimited
#设定用户最大可创建文件数
* soft nofile 65536
* hard nofile 131072

(2)修改linux虚拟内存空间及swap使用率

vim /etc/sysctl.conf     #编辑sysctl.conf，添加如下配置
vm.max_map_count=655360
vm.swappiness=1

sysctl -p                    #使修改生效

(3)修改本地线程数(此处只是优化，不配置，不影响集群启动)

vim /etc/security/limits.d/90-nproc.conf      #添加如下配置

                    * soft nproc 2048

3、创建一个普通用户，并赋予root权限(root用户不能启动es，否则出现异常)

(1)创建用户
adduser es    #创建普通用户
passwd es      #修改es用户密码(需连续输入2次)

(2)赋予es普通用户root权限
vim /etc/sudoers         #编辑sudoers, 添加如下配置

    es   ALL=(ALL) NOPASSWD: ALL

4、指定elasticsearch安装文件elasticsearch-5.4.0的拥有者为es
su - es                                                         #由root用户切换到es用户
cd /usr/local/softwareinstall                      #进入softwareinstall文件夹
sudo chown -R es:es elasticsearch-5.4.0   #指定elasticsearch安装文件elasticsearch-5.4.0的拥有者为es

5、进入bin目录下，启动elasticsearch
./elasticsearch              #启动elasticsearch

浏览器中输入http://hadoop1:9200，观察页面结果

二、elasticsearch集群搭建

1、将已成功安装elasticsearch节点hadoop1上的安装文件远程到其他节点上
cd /usr/local/softwareinstall
scp -r elasticsearch hadoop2:`pwd`                 #传到hadoop2上
scp -r elasticsearch hadoop2:`pwd`                 #传到hadoop3上
 
#删除data文件夹，因为复制过来的时候将hadoop1节点产生的数据也复制过来，若不删除，后面将出现异常(各节点连不上，不能形成集群)
rm -rf /usr/local/softwareinstall/elasticsearch-5.4.0/data  
 
2、各节点根据本机情况，修改elasticsearch.yml文件中的node.name、network.host
3、linux系统参数、root用户创建、es用户拥有elasticsearch安装文件等设定和hadoop1节点相同
4、启动集群
进入各节点elasticsearch安装文件bin目录下，启动elasticsearch
./elasticsearch

浏览器输入http://hadoop1:9200/_cluster/health?pretty=true，观察集群状态

参考博客：

(1)Centos7.3部署Elasticsearch5.4.0集群
http://www.mamicode.com/info-detail-1808949.html
(2)Centos7搭建Elasticsearch集群
https://www.aliyun.com/jiaocheng/141067.html