Linux部署Elasticsearch集群

一， 集群环境 - 简介：

单机 & 集群：

1.单机：

单台 Elasticsearch 服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。

-除了负载能力，单点服务器也存在其他问题：

• 单台机器存储容量有限
• 单服务器容易出现单点故障，无法实现高可用
• 单服务的并发处理能力有限

配置服务器集群时，集群中节点数量没有限制，大于等于 2 个节点就可以看做是集群了。一般出于高性能及高可用方面来考虑集群中节点数量都是 3 个以上。

2，集群Cluster：

一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

二， Linux集群部署：

2.1，软件安装

• 官方连接：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0
• 具体下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

2.2，软件安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

2.3,解压软件

解压缩到/opt/module下

tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module

elasticsearch-7.8.0改名为es

mv elasticsearch-7.8.0 es

2.4复制es,三份

在/opt/module创建es2文件夹,复制三份es文件到es2下,改名

创建es2文件夹,
mkdir  es2
复制es文件到es2下
cp -r es /opt/module/es2
改名
mv es  esa

cp -r es /opt/module/es2
mv es  esb

cp -r es /opt/module/es2
mv es  esc

2.5，创建用户

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要创建新用户，在 root 用户中创建新用户。

> useradd es #新增 es 用户
>  passwd es #为 es 用户设置密码 
>  userdel -r es #如果错了，可以删除再加
> chown -R es:es /opt/module/es2/esa/#文件夹所有者 （把权限赋给普通用户）
>  chown -R es:es /opt/module/es2/esb
>   chown -R es:es /opt/module/es2/esc

2.6，修改配置文件

修改/opt/module/es/config/elasticsearch.yml 文件，分发文件

1， 加入如下配置

> #集群名称 cluster.name: cluster-es
> #节点名称，每个节点的名称不能重复 node.name: node-1
> #ip 地址，每个节点的地址不能重复 network.host: linux1
> #是不是有资格主节点 node.master: true node.data: true
> #当前服务的端口 http.port: 9200
> #通信端口 transport.tcp.port: 9303 
> #head 插件需要这打开这两个配置 http.cors.allow-origin: "*" http.cors.enabled: true http.max_content_length: 200mb
> #es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master cluster.initial_master_nodes: ["node-1"]
> #es7.x 之后新增的配置，节点发现 discovery.seed_hosts: ["linux1:9300","linux2:9300","linux3:9300"]
> gateway.recover_after_nodes: 2 network.tcp.keep_alive: true
> network.tcp.no_delay: true transport.tcp.compress: true
> #集群内同时启动的数据任务个数，默认是 2 个 cluster.routing.allocation.cluster_concurrent_rebalance: 16
> #添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个 cluster.routing.allocation.node_concurrent_recoveries: 16
> #初始化数据恢复时，并发恢复线程的个数，默认 4 个 cluster.routing.allocation.node_initial_primaries_recoveries: 16

三份es都需要修改如下图所示地方

2，修改/etc/security/limits.conf ，分发文件

> #在文件末尾中增加下面内容 
> es soft nofile 65536 
> es hard nofile 65536

3，修改/etc/security/limits.d/20-nproc.conf，分发文件

# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称

4，修改/etc/sysctl.conf

#在文件中增加下面内容
vm.max_map_count=655360

5，重新加载

sysctl -p

6，启动软件
分别在不同节点上启动 ES 软件

cd /opt/module/es2/esa/bin
# 使用es用户
su es  
#启动
./elasticsearch
#后台启动
./elasticsearch -d

cd /opt/module/es2/esb/bin
#使用es用户
su es  
#启动
./elasticsearch
#后台启动
./elasticsearch -d

cd /opt/module/es2/esc/bin
#使用es用户
su es  
#启动
./elasticsearch
#后台启动
./elasticsearch -d

7,访问http://10.70.20.122:9200/_cat/nodes?pretty，显示有三个节点，主节点是node-1，配置成功！

注意：

1， linux环境下启动Elasticsearch报错：There is insufficient memory for the Java Runtime Environment to continue.

解决：就是我服务器的配置内存不够，es默认配置2g内存，所以报错了。那么我们要修改一下内存配置，适合我们服务器。

打开es的安装目录 /config/jvm.options 将其内存设置修改为对应复合的

2，ElasticSearch启动报错:java.nio.file.AccessDeniedException

报错原因，是因为大家忽略了普通用户对当前目录没有该操作权限，所以在使用root用户登录时把权限赋给普通用户就好了（我这里的普通用户是elsearch）
具体操作：chown -R 普通用户名 要赋权限的用户名

eg: chown -R elsearch /opt/SoftWare/ES/elasticsearch-6.5.4