Flink
文章平均质量分 80
........
莫噶
如发现文章中有错误,欢迎私信、留言提醒。
展开
-
Flink 侧输出流(SideOutput)
ProcessFunction 的 side outputs 功能可以产生多条流,并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象,X 是输出流的数据类型。process function 可以通过 Context 对象发射一个事件到一个或者多个 side outputs。注意:OutputTag是如何根据旁路输出流包含的元素类型typed的。✨可以通过以下几种函数发射数据到旁路输出。当使用旁路输出时,首先需要定义一个。来标识一个旁路输出流。原创 2024-02-22 20:00:00 · 1279 阅读 · 0 评论 -
Flink双流(join)
Window Join有可以根据Window的类型细分出3种:Tumbling(滚动) Window Join、Sliding(滑动) Window Join、Session(会话) Widnow Join。🌸Window 类型的join都是利用window的机制,先将数据缓存在Window State中,当窗口触发计算时,执行join操作。原创 2024-02-21 18:53:59 · 1484 阅读 · 0 评论 -
Flink实现数据写入MySQL
【代码】Flink实现数据写入MySQL。原创 2024-01-26 18:35:07 · 834 阅读 · 1 评论 -
迟到数据处理 和 基本时间的合流
于是对于一条流(不妨叫作A)中的任意一个数据元素a,就可以开辟一段时间间隔:[a.timestamp + lowerBound, a.timestamp + upperBound],即以a的时间戳为中心,下至下界点、上至上界点的一个闭区间:我们就把这段时间作为可以匹配另一条流数据的“窗口”范围。下方的流A去间隔联结上方的流B,所以基于A的每个数据元素,都可以开辟一个间隔区间。同样地,A中时间戳为3的元素,可匹配区间为[1, 4],B中只有时间戳为1的一个数据可以匹配,于是得到匹配数据对(3, 1)。原创 2024-01-25 20:11:08 · 858 阅读 · 0 评论 -
函数类(Function Classes)和 富函数类(Rich Function Classes)
Flink暴露了所有UDF函数的接口,,例如MapFunction、FilterFunction、ReduceFunction等。所以用户可以自定义一个函数类,实现对应的接口。原创 2024-01-24 19:22:51 · 584 阅读 · 1 评论 -
Flink---处理函数
无论是基本的转换、聚合,还是更为复杂的窗口操作,其实就是基于DataStream进行转换的,所以可以统称为DataStream API。在Flink更底层,我们可以不定义任何具体的算子(比如map,filter或window),而只是提炼出一个统一的“处理”(process)操作------它是所有转换算子的一个概括性的表达,可以自定义处理逻辑,所以这一层接口就被叫作“处理函数”(process function)。原创 2024-01-22 20:41:50 · 1053 阅读 · 0 评论 -
II.Flink中的 状态
这篇文章是详细化上一篇文章按键分区状态(Keyed State)顾名思义,是任务按照键(key)来访问和维护的状态。它的特点非常鲜明,就是以key为作用范围进行隔离。需要注意,使用Keyed State必须基于KeyedStream。没有进行keyBy分区的DataStream,即使转换算子实现了对应的富函数类,也不能通过运行时上下文访问Keyed State。keyed state 接口提供不同类型状态的访问接口,这些状态都作用于当前输入数据的 key 下。原创 2024-01-21 18:00:00 · 1264 阅读 · 1 评论 -
I.Flink中的 状态
实时计算如果任务失败导致中间状态丢失,将是一个可怕的事情,比如实时计算每天的pv,uv等指标,任务掉线之后中间状态也丢失了,那只能从凌晨数据重新计算。如果是有状态的计算大可不必担心,从任务掉线的时刻继续计算即可。原创 2024-01-20 17:05:17 · 896 阅读 · 0 评论 -
时间语义 和 窗口
..........原创 2024-01-19 15:35:57 · 1059 阅读 · 1 评论 -
Flink 算子:数据处理的魔法师
.........原创 2024-01-18 19:24:06 · 989 阅读 · 0 评论 -
流处理实现WordCount
流处理WordCount原创 2024-01-17 19:16:43 · 371 阅读 · 0 评论 -
水位线(Watermark)
水位线原创 2024-01-17 18:40:11 · 1090 阅读 · 0 评论