企业运维实战 ELK日志分析平台 Elasticsearch 下 （Elasticsearch-head创建索引、Elasticsearch节点角色及节点优化）

elasticsearch-head 创建索引

这里我们使用elasticsearch-head

进入到目录，使用cnmp后台运行elasticsearch-head

访问172.25.21.1:9100，并且创建一个索引

刷新后，查看ES状态

绿色代表正常
灰色标识没有副本
黄色代表没有主分片丢失

elasticsearch节点角色

节点角色：

• Master Node：主节点，该节点不和应用创建连接，每个节点都保存了集群状态，master节点不占用磁盘IO和CPU，内存使用量一般。master节点控制整个集群的元数据。只有Master Node节点可以修改节点状态信息及元数据(metadata)的处理，比如索引的新增、删除、分片路由分配、所有索引和相关 Mapping 、Setting 配置等等。

• Master eligible nodes：合格节点，每个节点部署后不修改配置信息，默认就是一个 eligible 节点，判断Master是否存活，如果Master故障则参加新一轮的Master选举。该节点也保存了集群节点的状态。eligible节点比Master节点更节省资源，因为它还未成为 Master 节点，只是有资格成功Master节点。

• Data Node：数据节点，该节点和索引应用创建连接、接收索引请求，该节点真正存储数据，ES集群的性能取决于该节点的个数（每个节点最优配置的情况下），data节点会占用大量的CPU、IO和内存。

• Coordinating Node：协调节点，该节点和检索应用创建连接、接受检索请求，但其本身不负责存储数据，可当负责均衡节点，该节点不占用io、cpu和内存。

• Ingest Node：ingest 节点可以看作是数据前置处理转换的节点，支持 pipeline管道 设置，可以使用 ingest 对数据进行过滤、转换等操作，类似于 logstash 中 filter 的作用，功能相当强大。

节点角色是由以下属性控制:

• node.master: false|true

这个属性表示节点是否具有成为主节点的资格 注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。

• node.data: true|false

这个属性表示节点是否存储数据。

• node.ingest: true|false

是否对文档进行预处理。

• search.remote.connect: true|false

是否禁用跨集群查询。

默认情况下这些属性的值都是true。

elasticsearch节点优化

五种节点组合

第一组：

node.master: true
node.data: true
node.ingest: true
search.remote.connect: true

这种组合表示这个节点即有成为主节点的资格,又存储数据。
如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。
测试环境下这样做没问题,但实际工作中不建议这样设置。

第二组：

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

这个节点称为data(数据)节点，只会存储数据。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

第三组：

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

这个节点我们称为master节点。这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
第四组：

node.master: false
node.data: false
node.ingest: false
search.remote.connect: false

这个节点的意义是作为一个协调节点,主要是针对海量请求的时候可以进行负载均衡。

第五组：

node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

这个节点的意义是ingest节点,对索引的文档做预处理。这种组合表示这个节点即不会成为主节点,也不会存储数据。

生产集群中可以对这些节点的职责进行划分

• 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为
主节点,维护整个集群的状态。
• 再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供
建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点
的压力也会比较大。
• 所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,
实现请求转发,负载均衡等功能。

节点需求

• master节点:普通服务器即可(CPU、内存 消耗一般)
• data节点:主要消耗磁盘、内存。
• path.data: data1,data2,data3
	这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使用raid0阵列,而不需要成本高的ssd。
• Coordinating节点:对cpu、memory要求较高。

调整ES集群状态

可以看到我的server既是master节点也是data节点，尽量让它只做matser节点，减少压力

修改master服务器的elasticsearch配置文件

vim /etc/elasticsearch/elasticsearch.yml

写入node.data: false

重启服务

systemctl restart elasticsearch.service

启动不了

查看日志

cat /var/log/elasticsearch/my-es.log    ### my-es是我的集群名字

可以看到node.data参数设置为false，但是还有共享数据，需要清理

查询elasticsearch-node命令存放目录

[root@server1 elasticsearch]# rpm -ql elasticsearch | grep elasticsearch-node
/usr/share/elasticsearch/bin/elasticsearch-node

运行

/usr/share/elasticsearch/bin/elasticsearch-node repurpose

运行完毕后，重启服务

可以发现 server1上已经没有数据