企业级ELK-架构与部署（一）亲测可用！

ELK为什么这么耳熟？ELK是什么？ELK有什么用？ELK怎么部署？

有木有可以直接复制黏贴就可以完成的？？？！！！

小编本人在两个月内搜索了N篇文章，内心只想着找到一篇能复制黏贴的快捷部署的企业级别ELK项目文章（基本都是单机、测试），很遗憾的是没能找到，因此萌生了自己搞一篇的想法。假如已对ELK有过了解的童鞋，可以跳过前言，直接跳到实战，直接Ctrl+c Ctrl+v即可部署好企业级别的ELK。

前言

ELK，作为大数据时代的宠儿，是日志分析界中的“扛把子”，饿了么、阿里巴巴、携程、华为、美团……这些公司都在用ELK！所以ELK耳熟能详并非没有原因的。

在实际应用场景中，ELK起到了日志收集、日志归档、日志存储、日志分析的作用。想象一下，一千台服务器中的某个项目挂掉了，如何通过查看日志去找到挂掉的原因？一台一台的服务器远程过去，一台一台的查看不同的日志。想想都觉得累。假若部署了ELK，则可以通过日志分析快速定位问题所在。

ELK实际上是一整套的解决方案，由三个开源软件组成：Elasticsearch , Logstash, Kibana。

Elasticsearch是实时全文搜索和分析引擎，主要负责日志搜索、分析。

Logstash是一个对日志进行搜集、过滤的工具。

Kibana可以为 Logstash 和 ElasticSearch 提供web前端显示界面，让日志分析变得方便明了。

三者已经能组成一个简单的日志收集过滤分析平台。

Logstash->Elasticsearch->Kibana

上面的架构是最简单的架构，想应用到实际中，这种架构是不足以支持业务运行的。架构仍然需进行优化。由于logstash是JAVA开发，运行时候会占用较大的资源（内存、CPU等），假如每台服务器都安装运行一个logstash，对业务影响也太大了！因此，实际应用中，logstash仅发挥它的日志过滤功能，日志收集将交给filebeat。

filebeat是什么？filebeat是一个轻量级日志传输工具，只占用些许的资源，就能做到收集海量的日志。

因此，ELK组合中将加入filebeat。

Filebeat->Logstash->Elasticsearch->Kibana

此时的架构已经比较完整啦，但是，企业级别的ELK日志分析平台，怎么能不考虑安全性、稳定性呢？

为了提升Elasticsearch消息处理效率、存储容量与防止Elasticsearch宕机日志丢失，所以引入Elasticsearch分布式集群架构

随着业务量增大，由filebeat直接传递logstash可能业务量过大导致数据丢失或宕机，所以引入kafka，达到削峰、异步作用。同时kafka也有保存日志数据，增加一层保险的作用。为了解决kafka宕机可能造成损失，kafka也需要做成集群。
分布式集群架构是什么？其实就是加多几台机子，几台机子组成一个集群，几台机子一起工作，肯定比单独一台效率高。而且当其中一台机子坏掉，也有其余的机子顶上去，不会影响业务。

kafka是什么？kafka是一种高吞吐量的分布式发布订阅消息系统，在ELK中扮演日志存储、备份、中转的角色，起到数据备份、削峰的作用。

因此，ELK组合将做成ELK集群，同时加入kafka角色。

Filebeat->Logstash->Elasticsearch->Kibana

到此为止，整个ELK日志分析平台的架构与相关作用，都已经介绍完毕。接下来就是实战阶段。

实战

先说明下搭建环境与各主机角色。

机器选择：睿江云平台

节点选择：广东G（VPC网络更安全、SSD磁盘性能高）

云主机配置：4核16G（4核8G也支持，但会有延时感）

网络选择：VPC虚拟私有云（VPC网络更安全、高效）

带宽：5M

系统版本：Centos7.6

云主机数量：5

软件版本：ELK 7.4.0、kafka 2.12-2.6.0

首先，下面为部署elasticsearch的步骤。（亲测可用，从头到尾只用修改ip）

a.步骤1

登陆elasticsearch主节点、数据节点、数据节点。ssh 到master node 192.168.0.6、date node1 192.168.0.4、date node2 192.168.0.5

各个节点都关闭防火墙和SELinux。

各个节点都执行以下命令

service

b.步骤2

三个节点都执行以下的步骤

yum install -y ntpdate

c.步骤3

ntpdate time1.aliyun.com

d.步骤4

yum -y install java-1.8.0-openjdk

e.步骤5

cd /opt/

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gz

f.步骤6

tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz

g.步骤7

groupadd els

h.步骤8

useradd els -g els -p els

i.步骤9

chown -R