架构师：使用ELK和Kibana实现高效的日志收集与可视化

1、简述

ELK作为一套日志收集工具，顾名思义，ELK包含了三个开源工具，它们分别是elasticsearch、logstash、kibana，其中elasticsearch是一款搜索和数据分析引擎，Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，Kibana是一个免费且开放的用户界面，能够对Elasticsearch数据进行可视化。

ELK有多种架构可供部署，根据数据量大小、服务器需求等可选择不同架构，有些架构还需要用到消息队列中间件，比如kafka或者redis，用于进行数据持久化，防止日志数据丢失的这一情况。

2、Elasticsearch 集群

2.1 拉取镜像

安装elasticsearch，当前选择的是7.2.0版本的

 docker pull elasticsearch:7.2.0

2.2 创建集群目录

创建es1,es2,es3集群目录：

[root@localhost ~]# mkdir -p /data/elk/es1/data
[root@localhost ~]# chmod -R 777 /data/elk/es1/data
[root@localhost ~]# mkdir -p /data/elk/es2/data
[root@localhost ~]# chmod -R 777 /data/el