SmartSi

数据变更捕获（CDC）是一种捕捉数据变更的技术。它能实时监控数据源（如数据库、应用系统等）中数据的增、删、改等变化，并记录下这些变更信息。与传统批处理方式相比，CDC 实现了近乎实时的数据集成和同步，使企业能够随时掌握最新信息，从而基于数据做出及时决策。

今天从技术的角度聊聊流计算（Streaming）技术。尽管概念上有许多共通之处，例如时间窗口、水位（Watermark）等等，但其实在实现层面上，各个系统几乎都有独特的设计。所谓“存在即合理”，这种系统设计的多样性也正呼应了流计算应用场景的多样性，而并非简单的单一维度上的孰好孰坏。本文从内部实现的角度，深入对比了市面上常见的流计算系统，包括 Apache Flink、RisingWave、Spark Streaming、ksqlDB 等。希望这篇文章能在技术选型时对你有帮助。

流处理系统（下文简称流系统）是现代数据栈中十分重要的技术方向，它们是针对流数据的实时分析而量身定做的。在过去的几十年里，研究人员和从业人员投入了大量的精力来开发大规模，高性能和高可用的流处理系统。基于这些努力，现如今，开源抑或商业化的流系统已在各大公司的技术栈中长期运行，支持着成千上万的应用，包括广告推荐、欺诈检测、物联网分析，诸如此类。随着流处理领域取得的重大进展，越来越多的公司开始研究现代流系统，并渴望看到现代技术如何改变他们的业务。可惜的是，其中许多公司在他们的试水过程中陷入困境。

流处理技术在过去的 20 年里经历了从学术概念到商业应用的演变。流处理系统从无到有，我们见证了从第一代数据流管理系统如 IBM System S、Oracle CQL、Esper 等，到第二代基于 MapReduce 思想发展出的分布式流计算平台，如 Apache Spark Streaming、Apache Flink 等，再到如今的第三代云原生流处理系统，如 RisingWave。这一发展标志着流处理技术的普及和简化，已成为众多行业中不可或缺的关键技术。