实时分析系统
花和尚也有春天
会收集一些不错的文章,时常品读,也学着自己总结一些东西,坚持努力的方向!
展开
-
实时数据采集流程
原创 2018-09-18 22:23:40 · 1370 阅读 · 0 评论 -
日志流实时监控
日志流实时监控 题目:基于Spark Streaming实现流处理 使用Spark Streaming、Kafka等实现日志流处理功能,可以捕获新应用日志的生成,采用流处理,对日志中存在的ERROR数据进行统计和告警 日志格式可以自己定义,可以参考正常log4j生成的日志格式。 题目分析如下: 功能要求:实现实时error级别日志的统计,并作出相应处理 框架要求:结合sparkst...转载 2018-09-26 23:28:00 · 512 阅读 · 0 评论 -
Flume + kafka + HDFS构建日志采集系统
Flume是一个非常优秀日志采集组件,类似于logstash,我们通常将Flume作为agent部署在application server上,用于收集本地的日志文件,并将日志转存到HDFS、kafka等数据平台中;关于Flume的原理和特性,我们稍后详解,本文只简述如何构建使用Flume + kafka + HDFS构建一套日志采集系统。 1)Flume:作为agent部署在每个app...转载 2018-09-27 01:53:39 · 5181 阅读 · 0 评论