使用Flume+Kafka+SparkStreaming进行实时日志分析
使用Flume+Kafka+SparkStreaming进行实时日志分析
每个公司想要进行数据分析或数据挖掘,收集日志、ETL都是第一步的,今天就讲一下如何实时地(准实时,每分钟分析一次)收集日志,处理日志,把处理后的记录存入Hive中,并附上完整实战代码
1.
整体架构
思考一下,正常情况下我们会如何收集并分析日志呢?
首先,业务日志会通过Nginx(或者其他方式,我们是使用Ngin
转载
2018-02-07 09:49:23 ·
495 阅读 ·
0 评论