【网站点击流实时数据分析】03-架构设计

1、整体流程设计

1、通过日志收集系统将数据获取并存放到某个存储介质中，本例可以使用kafka

2、Storm程序从kafka中消费数据数据，逐条消费的日志

3、Storm程序从数据库中加载产品人员配置的任务信息

4、Storm程序计算每个任务的各项指标，各项指标的中间结果存放在Redis中

5、同步程序，按照一定的时间周期从Redis中计算每个任务的增量数据，并将增量数据存放在mysql数据库中

6、同步程序，按照每个指标的增量数据计算不同维度的基础数据

7、报表系统从Mysql数据库获取每个每个指标的基础数据进行展示

2、功能模块设计

1. 数据收集模块，略
2. 数据存储模块，在Kafka中创建点击流日志相关的topic
3. Storm程序，该模块主要有两个个功能，

功能一：从kafka中消费数据进行实时计算，并将结果存放在Redis中

功能二：从Mysql数据库中读取配置文件并定时更新

1. 同步程序，该模块主要是配置相关的定时任务，主要两个方向：方向一：从Redis中读取不同任务的增量数据保存到Mysql中。方向二：根据增量数据计算不同维度的数据。
2. 报表系统，从mysql数据库中读取不同任务的维度数据进行展示，略

 

3、数据模型设计

3.1、任务表 log_analyze_job

3.2、任务明细表  log_analyze_job_condition

3.3、任务分钟增量数据表 log_analyze_job_nimute_append

3.4、任务半小时增量数据表   log_analyze_job_half_append

3.5、任务1小时增量数据表   log_analyze_job_hour_append

3.6、任务每天全量数据表 log_analyze_job_day