点击流日志分析架构

2019独角兽企业重金招聘Python工程师标准>>>

整体流程设计

1、通过日志收集系统将数据获取并存放到某个存储介质中，本例可以使用kafka

2、Storm程序从kafka中消费数据数据，逐条消费的日志

3、Storm程序从数据库中加载产品人员配置的任务信息

4、Storm程序计算每个任务的各项指标，各项指标的中间结果存放在Redis中

5、同步程序，按照一定的时间周期从Redis中计算每个任务的增量数据，并将增量数据存放在mysql数据库中

6、同步程序，按照每个指标的增量数据计算不同维度的基础数据

7、报表系统从Mysql数据库获取每个每个指标的基础数据进行展示

转载于:https://my.oschina.net/u/3027545/blog/832455