ELK + Kafka + Filebeat学习

ELK + Kafka + Filebeat学习

目录：
1、ELK + Kafka + Filebeat架构
2、为什么要使用ELK
3、验证流程：Filebeat->Logstash->Kafka->Logstash->Elasticsearch->Kibana

1 ELK + Kafka + Filebeat架构

图1.1 ELK + Kafka + Filebeat架构图

l Filebeat：

日志采集。

l Logstash：

官网描述：Logstash：Collect，Enrich and Transport。收集，丰富和传输，Logstash是用于管理事件和日志的工具。可以使用它来收集日志，解析它们，然后存储它们以备以后使用（例如用来搜索）。

l Shipper：

在每个目标系统上运行的客户端，负责收集日志消息。

l Kafka：

作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

l Kerberos：

基于共享秘钥对称加密的安全网络认证系统，它避免了将密码在网络上传输，而是将密码作为对称加密的秘钥，通过是否能够解密来验证用户的身份。

l Indexer：

负责按管理员指定的方式，汇集日志并转发日志给elasticsearch。

l Elasticsearch：

官网描述：Elasticsearch：Store，Search and Analyze。存储，搜索和分析，用于存储所有的日志。