ELK6.3.0 环境搭建(三) ---ELK综合调试

1.前言

通过前面两篇博文,我们搭建了elk环境,走通了从logstash到kafka的数据流,接下来我们要调试的是从kafka到es的数据流。

1.1前辈走过的路kafka-->es

有这位前辈,https://blog.csdn.net/u014236541/article/details/78730414进行了部分的总结:

 

  • Kafka->logstash->elasticsearch->kibana(简单,只需启动一个代理程序)
  • Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与confluent绑定紧,有些复杂)
  • Kafka->elasticsearch-river-kafka-1.2.1-plugin->elasticsearch->kibana(代码很久没更新,后续支持比较差

 

这位前辈是通过程序进行导入:https://www.cnblogs.com/smartloli/p/6978645.html

 

,使用Kafka的消费API和ES的存储API来处理分流数据。通过编写Kafka消费者,消费对应的业务数据,将消费的数据通过ES存储API,通过创建对应的索引的,存储到ES中。其流程如下图所示:

  上图可知,消费收集的数据,通过ES提供的存储接口进行存储。存储的数据,这里我们可以规划,做定时调度。最后,我们可以通过Kibana来可视化ES中的数据,对外提供业务调用接口,进行数据共享。

类似第二位的有:https://www.cnblogs.com/ygwx/p/5337835.htm

1.2框架重设

中间logWeb是一个工程,实现两种功能:1.监控kafka中消息;2.将kafka中消息导入到es中,logstash部署到各个应用中进行日志的实时收集。

这个重点就放在了LogWeb工程的实现;

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值