Flink在海量消息推送实时统计场景的应用

前言：

消息推送常常在APP运营过程中，作为提高活跃，增加用户粘性的利器被广泛使用。产运的同学更希望可以看到每场推送活动后的实际统计数据。例如推送的时效性，渠道的推送成功率，到达率和用户的点击率。对于海量推送数据的统计与查询也面临着不小的挑战，本文主要对Flink实时计算技术在海量推送消息实时统计场景进行介绍

一、消息推送是什么

消息推送是一种产运同学通过推送工具主动给APP用户发送消息，消息可直接显示在手机通知栏，能起到提醒用户、增强用户黏性的作用，由于其投放精准、成本低廉是产品及运营团队常用的手段。

二、现有消息推送架构

2.1 消息推送的作用

产品侧：功能提醒，引导用户关注，提高产品功能使用率与用户体验。
运营侧：活动运营，促销活动告知，提高用户参与度与粘性；召回用户 / 提高活跃度与留存等等

2.2. 消息推送服务系统架构梳理

2.2. 存在的问题：

• 日志量大，同步延迟
  • 推送服务日志数据平均每小时1G左右，峰值5G左右，数据同步延迟4小时左右。
• 存在大量无效日志和重复落地的数据
  • 由于数据量级过大，业务排查问题时跑一