![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 52
Johnson8702
这个作者很懒,什么都没留下…
展开
-
Flink本地checkpoint测试
flink本地checkpoint测试原创 2023-03-01 10:34:33 · 2277 阅读 · 2 评论 -
Flink多流共用一个方法,状态编程报错
Flink多流共用一个方法,状态编程报错原创 2022-08-03 10:48:50 · 1065 阅读 · 0 评论 -
Flink窗口机制
文章目录(一)窗口分类(二)一、窗口分类键控窗口 和 非键控窗口 时间窗口 和 计数窗口 滑动窗口 和 滚动窗口 会话窗口根据窗口不同的分类规则,大致可以分为上面几种。从上至下,更加具体。比如,键控窗口和非键控窗口都可以调定义时间窗口和计数窗口;而时间窗口和计数窗口,都可以定义滑动窗口和滚动窗口;另外,在时间窗口中,还有一个特例,就是会话窗口。二、键控窗口 和 非键控窗口根据在开窗之前,是否执行了 keyBy() 操作,分为 键控窗口 和 非键控窗口。顾名思义,键控窗口,原创 2022-05-26 15:22:07 · 1754 阅读 · 0 评论 -
Flink广播状态清理
在Flink实时计算的实际项目中,广播中的状态,可能并不是需要一直存在,只需要当天存在,之后不再会用到。这种情况下,如果状态数据一直不清理,量会越来越庞大,占用内存,时间长,甚至会导致内存溢出。所以需要对过期的广播状态进行清理。但是状态过期清理的机制,目前仅是对keyed state来说的有效,对广播状态不起作用。因此,需要自己手动去处理。按照flink keyed state过期处理的思想,手动实现对过期的广播状态的清理;主要逻辑如下:(1)广播状态设置一个状态,专门存储一个时间戳毫秒值,通原创 2022-04-06 17:00:26 · 2038 阅读 · 0 评论 -
Flink POJO类状态使用注意事项
Flink 基于下面的规则来支持 POJO 类型状态数据结构的升级:可以删除字段。一旦删除,被删除字段的前值将会在将来的 checkpoints 以及 savepoints 中删除。可以添加字段。新字段会使用类型对应的默认值进行初始化,比如 Java 类型。不可以修改字段的声明类型。不可以改变 POJO 类型的类名,包括类的命名空间。需要注意,只有从 1.8.0 及以上版本的 Flink 生产的 savepoint 进行恢复时,POJO 类型的状态才可以进行升级。 对 1.8.0 版原创 2021-11-03 19:33:12 · 1429 阅读 · 0 评论 -
Flink1.13---给事件分配水印
在flink1.13版本中,给事件分配水印,直接在流上,调用时间戳和水印分配策略,传入WatermarkStrategy。参考官网:WatermarkStrategy .<Tuple2<Long, String>>forBoundedOutOfOrderness(Duration.ofSeconds(20)) .withTimestampAssigner((event, timestamp) -> event.f0);其中,<原创 2021-07-05 17:19:47 · 606 阅读 · 0 评论 -
Flink---记一次窗口无法触发计算的问题
最近,在协助其他同事测试flink消费kafka数据,窗口计算的准确性问题。1、现象 同事往kafka发送数据,结果窗口一直无法触发计算。但是使用我的mock代码,往kafka发送数据时,窗口计算正常触发。2、问题 经过排查,同事的代码把所有的数据发往kafka的一个分区;我的代码会负载均衡,发到所有分区。3、分析 kafka有三个分区,flink程序会读取到来自三个分区的数据,并取每个分区的最新时间作为水位线,然后取三个分区的水位线最低的,...原创 2021-07-05 17:06:59 · 1467 阅读 · 0 评论 -
Flink本地运行webUI无法访问显示{“errors“:[“Not found.“]} 解决办法
一、问题描述在本地运行flink程序,希望可以通过webUI界面查看作业运行情况。pom文件(局部)<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://m原创 2021-05-13 14:10:31 · 4471 阅读 · 1 评论 -
Flink 容错详解
一、背景Flink的容错机制,就是checkpoint;把状态保存起来,用于容错;否则,状态就失去了存在的意义。二、checkpoint详解1)概念①一种连续周期性绘制数据流状态的机制。这种机制确保即使程序出现故障,也可以顺利恢复到故障之前的状态,确保exactly once语义的保证。 注意:这种保证,只能在flink内部系统做保证,对于外部的source和sink,需要外部主键一同保证②全局快照,持久化保存所有的task和operator的state③可以通过配置,使用a..原创 2021-02-05 14:30:19 · 551 阅读 · 1 评论