ELK日志分析平台——Elasticsearch分布式搜索分析引擎的分布式部署与节点优化

一、Elasticsearch的分布式部署

和ELK系列上一篇文章：ELK日志分析平台——之Elasticsearch的安装与配置的配置方法相同，再配置另外两个节点：server2、server3。

• 分别把修改过的系统限制文件和系统启动文件发送到server2和server3：
  

1、配置节点

• server1：

cluster.name: my-es
node.name: server1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.254.51
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["server1", "server2", "server3"]

• server2：

cluster.name: my-es
node.name: server2
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.254.52
http.port: 9200
discovery.seed_hosts: ["server1", "server2", "server3"]

• server3：

cluster.name: my-es
node.name: server3
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.254.53
http.port: 9200
discovery.seed_hosts: ["server1", "server2", "server3"]

2、查看ES集群状态

二、Elasticsearch的节点优化

1、Elasticsearch的节点角色

• Master：
  主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

• Data Node：
  主要负责集群中数据的索引和检索，一般压力比较大。

• Coordinating Node：
  原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。

• Ingest Node：
  专门对索引的文档做预处理

2、Elasticsearch的节点优化

• 在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。
• 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。
• 节点角色是由以下属性控制：
  node.master: false|true
  node.data: true|false
  node.ingest: true|false
  search.remote.connect: true|false
  默认情况下这些属性的值都是true。
• node.master：这个属性表示节点是否具有成为主节点的资格。
  注意：此属性的值为true，并不意味着这个节点就是主节点。因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。
• node.data：这个属性表示节点是否存储数据。
• node.ingest: 是否对文档进行预处理。
• search.remote.connect：是否禁用跨集群查询。

3、Elasticsearch的节点组合

• 第一种组合：（默认）

node.master: true
node.data: true
node.ingest:  true
search.remote.connect: true

这种组合表示这个节点既有成为主节点的资格，又存储数据。
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。
测试环境下这样做没问题，但实际工作中不建议这样设置。

• 第二种组合：（Data node）

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

• 第三种组合：（master node）

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。

• 第四种组合：（Coordinating Node）

node.master: false
node.data: false
node.ingest: false
search.remote.connect: false

这种组合表示这个节点既不会成为主节点，也不会存储数据。
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

• 第五种组合：（Ingest Node）

node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

这种组合表示这个节点既不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。

注意：

• 生产集群中可以对这些节点的职责进行划分。
• 建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
• 再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
• 所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

4、Elasticsearch的节点需求

• master节点：普通服务器即可(CPU、内存 消耗一般)
• data节点：主要消耗磁盘、内存。
  • path.data: data1,data2,data3
    这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。
• Coordinating节点：对cpu、memory要求较高。

5、调整ES集群状态

• server1：
  
• server2：
  
• server3：
  
  注意：
  我们在这里设定server1作为master节点，上面不存储数据。但是在前面的实验中，server1上已经保存存储了一些数据，所以我们需要先把这些数据清除掉：