Move_now的博客

原创 流式计算-low watermark机制

前言 最近在学习流式计算相关的知识，在阅读了MillWheel论文以及DStream相关实现后，在这里对low watermark机制做一个总结与介绍。 Window 实时数据流是永不停歇的，我们无法获取所有的数据并产出一个最终的结果。很多情况下我们更关心的是最近的状态，而不是从实时数据流启动至今的统计数据。因此需要将数据流切分为一个个片段，这些片段形象的称为Window。总而言之，Wi...