Flink
文章平均质量分 80
bluedraam_pp
不是有希望才坚持,是坚持才有希望
展开
-
袋鼠云的FlinkSQL插件开发
这里所说的插件是可以理解为自定义的语法。dim_shop 可能是一个 redis 为实体的 Table ,这袋鼠已经为我们实现了,现在我们可能从 HTTP 的接口拿到数据,此时的话,我们可以自定义一个 HTTP Table ,然后上面的代码不用修改。原创 2023-10-24 16:31:24 · 1116 阅读 · 0 评论 -
正则表达式替换占位符
如何从下面的一个字符串中解析除占位符,并根据变量的类型替换。原创 2023-10-11 22:12:19 · 542 阅读 · 0 评论 -
如何保证 flink-connector-elasticsearch 的幂等性
flink elasticsearch sink 幂等性原创 2023-07-01 23:35:08 · 652 阅读 · 0 评论 -
Flink Stream 处理数据倾斜
Flink 数据倾斜原创 2023-04-16 12:40:31 · 356 阅读 · 0 评论 -
FlinkKafkaProducer 数据一致性
什么是数据的一致性这所说的数据一致性指,在一个 Flink 任务遇到不可坑因素整体死掉或者部分死掉,已经外部存储介质死掉后,将死掉的部分重写启动后,计算结果和出现故障之前一致,不会产生任何的影响。如果要实现这种效果,无论发生什么,所有算子做到如下要求:source 算子中,一条记录只向下游发送一次。在聚合算子、合集算子、转换算子中一条数据只处理一次。在 sink 算子中,一条数据只向外部存储介质中写入一次。只要做到这些,我们就可以说,我们整个任务的数据是一致的。今天就把 Flink 自己封原创 2021-06-16 17:09:19 · 579 阅读 · 0 评论 -
Flink——理解 allowLateness
什么鬼WindowOperator 里面还有有一个叫做 allowLateness 的东西,这个东西什么鬼呢?简单来说就给迟到的数据第二次机会。我允许它迟到一定的时间。在规定的迟到时间内,只要要数据来了,就会触发第二次窗口计算,那到什么时候就没有第二次机会了呢?下面我们来娓娓道来。allowLateness 的逻辑过程二话不说,先来看一下下面的代码,在这段代码中,```javaWindowOperator 中的成员变量 /** * The allowed lateness for原创 2020-11-23 12:32:13 · 511 阅读 · 0 评论 -
Flink_Trigger_Flink 中的响指
在上篇文章中,我详细讨论了 Flink 是如何为 record 分配窗口的。接下来我们就要讨论一下什么时机触发对窗口的计算了。这就像响指的功能,当集齐五个石头后,什么时候毁灭宇宙一半的生命呢?大家都知道了, 还差一个响指。我们今天讨论的触发时机,和响指的功能差不多,在 Flink 中,Flink 的开发者给他起了一个非常形象的名字——Trigger。请看下面的图片, Trigger 就是手枪的扳机。扳动扳机就能射出子弹,在 Flink 里面,Trigger 类决定了,是否对窗口中的数据进行计算,并将计算结原创 2020-11-23 09:03:45 · 505 阅读 · 0 评论 -
Flink_窗口的底层实现逻辑
目的写这篇文目的是为了加深对窗口和 watermark 的理解。先感谢这位博主的辛勤劳动。我做的分析就是基于这位大侠做的。下面上正题。正题窗口总体流程窗口是用来切割无线流的,它把无线流切分成有限个碎片,通过计算碎片来计算流的某些性质。就像积分计算求球的体积。它将从球新到表面扇柱体是一个正方体,然后使用极限的思路,然后就计算出球体的体积。根据不同的需求,我们有下面几种窗口类型。数据流是无限的,我们可以统计每 n 个单位时间内的一些统计值。这就是 Tumbling 窗口。我们也可以每隔 3原创 2020-11-22 17:32:15 · 614 阅读 · 0 评论