Apache Flink是一个开源流处理框架，具有流式优先、容错性、可伸缩性和高性能等特点。其架构分为三层，包括运行时系统、核心实现层和API层。Flink支持DataStream和DataSet API，提供数据流的并行处理，支持多种数据类型，包括Tuple、Case Class、POJO等。Flink通过Checkpoint和Savepoint实现容错，并利用Barrier进行分布式快照，确保一致性的状态更新。此外，Flink支持时间窗口和事件时间处理，以及有状态操作。在运行时，Flink使用Task Slot进行任务并行，通过OperatorChain优化性能。
文章目录
- 1.What is Flink？
- 2. The Feature of Flink？
- 3.Flink整体架构
- 4. Flink分层架构
- 5. 数据集和数据流(DataSet and DataStream )
- 6. 并行的数据流
- 7.支持的数据类型(Supported Data Type)
- 8. Flink构建的流程
- 9. window
- 10. Time类型
- 11. Stateful Operations 状态
- 12. 容错的Checkpoint
- 13. 保存点（Savepoints）
- 14 Barrier概念
- 14.Flink运行时架构
- 14.2 OperatorChain和Task
- 15. Flink On Yarn
- 16 配置
- 17 YarnSession启动命令
- 18 应用启动命令
- 19 累加器和计数器
- 20 Flink 反压
- 参考：
1.What is Flink？
Apache Flink是一个开源的分布式、高性能、高可用、准确的流处理框架，主要由Java代码实现，支持实时流(stream)处理和批(batch)处理，批数据只是流数据的一个极限的特例。原生支持了迭代管理、内存计算和程序优化。
2. The Feature of Flink？
流式优先(streaming-first：连续处理)，容错(fault-tolerant：有状态的计算)，可伸缩(scalable：可支持上千个节点)，性能(performance：高吞吐-每秒处理的数据量很大、低延迟-数据产生时Flink立刻可以处理掉 数据的产生到处理间隔的时间很短)。
订阅专栏 解锁全文
扫一扫
2156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
