阿里巴巴实时计算引擎Blink浅析

业务背景

各大公司也都基于自身业务场景和数据规模定制了自己的大数据计算平台，但这些大数据计算平台大都是批处理系统，虽然具备海量数据处理能力，但在时效性上有明显的滞后。显然，数据的价值不仅体现在空间维度上，同时也在时间维度上进行伸展，很多场景下数据的价值也会随着时间的流逝而逐渐消失。因此，大数据计算平台需要能够尽可能的提升计算的时效性，越快地从数据中挖掘出信息就意味着能够获取到更大的价值。

时效性对数据价值的影响尤其在电子商务领域更加明显。通常人们在不同时刻会有着不同的消费需求和潜在目标。很多时候，这些需求和目标都是临时的（即和历史行为关联度较低），并且从产生到结束之间的时间是非常有限的。这种情况在阿里巴巴双十一大促这样的场景中表现的尤为明显。

大促场景下，用户会由于丰富的促销活动和环境而临时产生更多的购物需求，并且每个购物需求的有效期是有限的。因此，搜索和推荐系统需要及时发现用户的需求变化，在数据有效期内完成模型更新，推荐用户当前感兴趣的商品。此外，阿里巴巴的数据大屏也需要在大促期间实时展示成交额等大家关注的统计信息，而不是大促结束后第二天再让大家看到数据。

其实目前不仅在阿里巴巴，各个行业都对大数据时效性的计算需求在日益增加，因此，阿里巴巴需要研发世界级一流的流式计算引擎，实时处理海量数据，提供在线统计、学习和预测能力，不仅支持阿里巴巴自己的核心电商场景，同时也能通过阿里云向外部中小企业提供流式计算服务，输出实时计算能力，这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。

例如：双11当天有很多爆款商品，销售速度非常快，可能很快售罄，如果将用户都引导到这些商品上