Flink
文章平均质量分 69
codenow.fun
不惑于自己,不惑于未来;找到自己的兴趣爱好,并不断坚持下去。
展开
-
Flink常用算子总结
Streaming 算子DataSet算子原创 2021-03-01 23:55:34 · 719 阅读 · 0 评论 -
Flink的状态管理和端到端Exactly Once 语义实现
Flink的状态管理Flink 可以处理有状态的数据,通过自身的 state 机制来保障作业 失败时数据不丢失;Flink 的 checkpoint 和故障恢复算法保证了故障发生后应用状态的一致性。因此,Flink 能够在应用程序发生故障时,对应用程序透明,不造成正确性的影响。Flink 提供了内置的状态管理,可以把这些状态存储在Flink内部,而不需要把它存储在外部系统。这样做的好处是第一降低了计算引擎对外部系统的依赖以及部署,使运维更加简单;第二,对性能带来了极大的提升:如果通过外部去访问原创 2021-02-27 22:32:09 · 268 阅读 · 0 评论 -
Flink编程模型详解
Flink 为流式/批式处理应用程序的开发提供了Stateful Stream Processing、DataStream/DataSet ApI 、Table API和SQL这四个不同级别的抽象,如下如所示:1、SQL这层抽象在语义和程序表达式上都类似于 Table API,但是其程序实现都是 SQL 查询表达式。SQL 抽象与 Table API 抽象之间的关联是非常紧密的,并且 SQL 查询语句可以在 Table API 中定义的表上执行。2、Table API以表(Table原创 2020-10-22 00:05:10 · 643 阅读 · 0 评论 -
Flink的滚动窗口、会话窗口、滑动窗口及其应用
Flink窗口原创 2020-10-13 23:53:11 · 3091 阅读 · 0 评论