这篇博客探讨了大数据流处理工具Spark和Flink在处理实时数据时的状态管理。作者指出，虽然这些通用平台提供了丰富的功能，但也带来了速度慢和系统复杂的问题。状态（State）在流处理中起着关键作用，是数据流与计算函数相互作用的核心。文章讨论了State与Function的关系，并解释了无状态计算的场景。最后，作者强调选择合适的技术解决方案的重要性，避免在简单问题上过度使用复杂工具。
转行搞了三年大数据，计划写些的东西，对这个方向总结一下，包括架构，工具，格式，库等等。
最近准备造轮子，就先从一些目前最常见的流式数据处理手段开始。
Spark & Flink
Spark，Flink是最知名的通用数据处理工具，不限定场景，不限定数据量。支持分布式，支持自定义状态，灵活定义数据处理逻辑（执行计划）。
当然缺点就是：人工参与程度大，速度慢，系统臃肿。
缺点与优点是相互取舍的，因为本身就是通用平台，不能与业务场景过分绑定，所以很多功能在实际使用时是不需要的，比如只用20%功能，但也有80%的功能拖慢了速度。
另外磁盘和网络IO，也是持久化，分布式必须的。
调用方式：因为两者定位都是数据平台，都是异步的网络API，即使有SDK，也相当于客户端封装再异步调用。
状态
Flink (https://flink.apache.org/) 举例，他官方描述就是 Stateful Computations over Data Streams
顾名思义，有两个东西，一个是Data Stream，一个是Computation State，这个是任何流处理系统的共识抽象。
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
