数据调试与优化：一次数据中心看板 T+1 改 T+0 优化过程

推荐阅读：

• 我总结了72份面试题，累计3170页，斩获了30+互联网公司offer（含BATJM）

• 2020首战告捷,这份Java面试神技Plus版，让我成功拿到了阿里、京东、字节跳动等大厂offer

• 膜拜！阿里内部都在强推的K8S(kubernetes)学习指南，不能再详细了

背景

团队目前在做一个用户数据看板（下面简称看板），基本覆盖用户的所有行为数据，并生成分析数据，用户行为数据来源于多个数据源（餐饮、生活日用、充值消费、交通出行、通讯物流、交通出行、医疗保健、住房物业、运动健康…），基于对大量数据的任意请求、排序和统计，没有办法对原生表（原生多表查询相对复杂）直接进行数据采用，所以我们在当日的凌晨获取前一天数据，并将数据做成Json对象保存在Mongo数据库中。

所以看板最初采用得是T+1的策略，这样就减少了实时数据计算的过程，另一方面能够保证数据的准确性。但是目前很多人反馈，希望能够实时的获取到看板最新的数据，而且每月月底会有消费数据核对，消费数据按照看板统计得出并核对，如果等到第二天ÿ