实时计算
LogansCodingLife
人这一生浑浑噩噩就过去了, 来点什么!
展开
-
《Streaming System》 第三章:Watermarks
简介本章主要介绍鲁棒的处理乱序数据的核心概念,这些概念的运用使流处理系统超越批处理系统的关键所在。本章我们从流计算系统的底层机制深入来探讨一下watermark。学习这些机制有助于我们更好理解和使用watermark。我们将讨论watermark如何生成,传播和影响输出结果的时间戳。我们还将解释,watermark如何保证结果的正确性。本文由《Streaming System》一书第三章的提炼翻译而来,译者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。定义对任何一个持续输入和输出原创 2020-08-27 00:23:07 · 701 阅读 · 0 评论 -
《Streaming System》 第二章:数据处理的四要素 What Where When and How
本文由《Streaming System》一书第二章的提炼翻译而来,译者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。本章主要介绍鲁棒的处理乱序数据的核心概念,这些概念的运用使流处理系统超越批处理系统的关键所在。路线图上一章中,我们介绍了两个非常关键的概念:事件时间和处理时间,只有在事件时间维度对数据进行处理,才能保证计算结果的准确性 窗口:窗口是处理无界数据流的通用方法,目前共有4类窗口。 接下来我们介绍其他三个同样非常重要的概念: 触发器(Triggers) 触发器是决原创 2020-08-26 22:46:21 · 1308 阅读 · 0 评论 -
《Streaming System》 第一章:Streaming 101
简介Streaming101起源于在O'really上发表的两篇博客,原文如下:https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍。现存的系统如Flink/Spark Structured Streaming的设计理念都是出自于上述文章。后其作者又写转载 2020-08-26 22:41:31 · 1156 阅读 · 0 评论 -
《Streaming System》流式系统-序章
本文翻译摘抄自《Streaming System》,在阅读的时候进行翻译,同时方便广大同学,如有错误或侵权,烦请指出。偶尔有机会搜到了这本书籍,还看到知乎有有问小伙伴对此书佩服的五体投地,传送链接:https://zhuanlan.zhihu.com/p/43301661好奇这本书内容到底有多深入人心,打算边看边进行翻译(翻译水平有限,如有错误,劳烦指出)。图文并茂的解释流式系统的核心概念:http://www.streamingbook.net/figures以动画的形式对书里的一些核原创 2020-08-27 00:24:53 · 2243 阅读 · 0 评论