Flink实时数仓—— xx场景实时多链路保障建设

一、项目名称：xx业务场景实时多链路保障建设

二、项目背景

  11月大促当天实时数据链路崩溃、大屏持续几分钟数据停滞，让数据中台同学充分感受到链路稳定性保障重要，为了助力后续双11、12月大促等活动，采取双链路搭建，增加实时链路快恢能力、应急能力，提升数据质量保障。

三、项目实现

3.1 事中：

   0点5分数据起跳时，发现实时大屏数据停滞，数据延迟大于10分钟，由于大促日封网，只能通过历史数据精确到分钟级缓慢导入及与业务沟通更换其他数据大屏临时兜底。

3.2 事后复盘：

（1）数据集慢SQL 查询：大屏所对应数据集存在大量聚合SQL逻辑，未做优化及处理，导致大屏展示较慢；

（2）未做压测评估：由于在大促前未跟集团一起压测，使用任务默认资源，导致活动开始后数据积压且计算资源打满；

（3）未做兜底方案：大促中封网无法提交代码，事件突然导致无法进行临时兜底