超级会员免费看
本文介绍了如何构建一个基于ELK（Elasticsearch、Logstash、Kibana）的大型日志分析平台，结合Filebeat、Kafka和ZooKeeper。首先，讲述了ELK的应用案例和架构，接着详细讲解了每个组件的安装配置过程，包括服务器环境设置、JDK安装、ELasticsearch集群、ZooKeeper集群、Kafka Broker集群、Filebeat安装、Logstash服务配置、Kibana展示日志数据等。文章还强调了配置文件的细节，如Zookeeper的zoo.cfg和Logstash的配置文件，以及Kibana的配置。最后，验证了日志数据的正确流向，确保平台正常运行。
一、ELK应用案例
ELK部署案例：
此架构稍微有些复杂，因此，这里做一下架构解读。 这个架构图从左到右，总共分为5层，每层实现的功能和含义分别介绍如下：
第一层、数据采集层
数据采集层位于最左边的业务服务器集群上，在每个业务服务器上面安装了filebeat做日志收集，然后把采集到的原始日志发送到Kafka+zookeeper集群上。
第二层、消息队列层
原始日志发送到Kafka+zookeeper集群上后，会进行集中存储，此时，filbeat是消息的生产者，存储的消息可以随时被消费。
第三层、数据分析层
Logstash作为消费者，会去Kafka+zookeeper集群节点实时拉取原始日志，然后将获取到的原始日志根据规则进行分析、清洗、过滤，最后将清洗好的日志转发至Elasticsearch集群。
第四层、数据持久化存储
Elasticsearch集群在接收到logstash发送过来的
订阅专栏 解锁全文
扫一扫
707
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
