大数据实时（1）-KS的FLink实践

大数据实时学习笔记

1、应用场景

分为4类场景，包括核心数据大屏、活动实时指标、运营体系看板、搜索广告实时；

1）核心数据大屏：包括公司经营情况的一些大盘数据，移动版数据，最重要的是实时的核心日报。所谓核心即真正能体现价值的数据，也可以说与战略、生死无关的指标，都不能叫做核心指标。在日报中体现最重要的核心指标，并实时出来，才是有价值。

2）活动实时：提供常规的移动端活动核心数据和活动模板的看板。但最有价值的应该是活动大屏，比如大型活动，比如春晚、双十一等特别日期的一些活动，需要关注整体的指标，也有分板块的一些实时统计，能从不同角度展示数据，并通过数据呈现内在价值。

3）运营数据：主要还是C端面的数据展示，有直播的实时看板，也可以基于实时的数据预测运营策略并为最终的运营策略提供强有力的支撑。

4）实时特征：搜索和广告的实时效是非常重要的，为客户提供最快捷最及时的讯息，为客户的转化助力，为搜索和广告提供实时的特征信息，促进转化，发挥数据价值。

2、目标及难点

目标：不管是离线数仓还是实时数仓，基本都会落到准确性、延迟性（性能）、稳定性3个方面。

1）数据准确性，离线差异1%以内；

2）数据延迟，活动核心报表<5min；

3）数据稳定性，数据不出现尖刺掉坑；

难点：

1࿰