![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 96
Flink学习笔记
Aimyon_36
这个作者很懒,什么都没留下…
展开
-
FlinkSql概述
Table API和SQL是最上层的API,在Flink中这两种API被集成在一起,SQL执行的对象也是Flink中的表(Table),所以我们一般会认为它们是一体的。Flink是批流统一的处理框架,无论是批处理(DataSet API)还是流处理(DataStream API),在上层应用中都可以直接使用Table API或者SQL来实现;这两种API对于一张表执行相同的查询操作,得到的结果是完全一样的。原创 2023-06-19 16:45:08 · 9498 阅读 · 0 评论 -
Flink容错机制
Flink数据传输状态一致性,Checkpoint的设置,数据容错机制原创 2023-06-18 19:46:01 · 1297 阅读 · 0 评论 -
Flink-状态管理
这样,并行度缩放之后的并行子任务就获取到了联合后完整的“大列表”,可以自行选择要使用的状态项和要丢弃的状态项。这种“均匀分配”的具体方法就是“轮询”(round-robin),与之前介绍的rebanlance数据传输方式类似,是通过逐一“发牌”的方式将状态项平均分配的。与Keyed State中的列表状态的区别是:在算子状态的上下文中,不会按键(key)分别处理状态,所以每一个并行子任务上只会保留一个“列表”(list),也就是当前并行子任务上所有状态项的集合。在这种情况下,状态的访问方式又会有所不同。原创 2023-06-13 19:19:30 · 281 阅读 · 0 评论 -
Flink时间窗口和水位线
当一个窗口被触发计算完成后,窗口中的元素会被清除,并且该窗口的状态也会被清除。窗口的触发计算和窗口关闭是两个不同的操作,使用allowedLatenessAIP设置窗口的推迟关闭,即使水位线触发了关窗,因为设置的推迟关窗,窗口只会触发计算,之后属于该窗口的迟到数据到来后仍会触发计算,只有水位线到达延迟关窗时间后窗口才会真正关闭。时间窗口的水位线是参考所有上游任务发送的最小的水位线的,如果存在一个上游任务一直没有数据发送,那么该上游任务的水位线为Long的最小值,窗口将无法触发,所以设置空闲等待时间;原创 2023-06-11 18:12:33 · 1288 阅读 · 0 评论 -
Flink基础概念及算子
无界数据流例如从Kafka这样的消息组件中读取的数据一般,没有数据流结束的定义,即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储,能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活(窗口必须是批次的整数倍)状态有没有流式SQL有没有Flink分层API//todo Watersensor Pojo对象。原创 2023-06-08 21:14:30 · 2810 阅读 · 0 评论