报表实现方案

报表实现方案

一、离线数据处理

1、表设计

报表分为年表、月表、日表，如果系统还区分运营单位，还需要创建运营单位的年表、月表、日表

2、使用spark进行离线计算

大数据方面使用spark进行离线计算

3、将结果存入对应的表中

二、实时数据处理

1、使用flink处理kafka等数据源的数据

2、将实时数据存储到redis

3、定时将实时数据同步到mysql中

4、实时报表对mysql的数据进行聚合查询