![](https://img-blog.csdnimg.cn/b8b7d35710864ab697a63c222bef9e98.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink系列专栏
文章平均质量分 78
flink系列专栏
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
[flink总结]什么是flink背压 ,有什么危害? 如何解决flink背压?flink如何保证端到端一致性?
在输出结果到外部系统时,首先进行预提交,然后在提交成功之后再进行确认。1 Flink的背压(Backpressure)是指当下游算子处理数据的速度不及上游算子传递数据的速度时,会导致数据始终堆积在网络层或内存中,会导致系统效率下降,出现背压现象。检查点(Checkpoint)机制:通过在流式数据处理中的不同位置设定检查点,能够记录系统的状态,当有故障产生时,系统可以从最近的检查点恢复,保证了一致性。重放机制:Flink的事件源(Source)需要提供重放数据的能力,这样在故障恢复时,可以重新处理原始数据。原创 2024-03-13 13:00:07 · 822 阅读 · 0 评论 -
Flink系列文档-(YY12)-窗口计算
窗口,就是把无界的数据流,依据一定规则划分成一段一段的有界数据流来计算;既然划分成有界数据段,通常都是为了"聚合";Keyedwindow重要特性:任何一个窗口,都绑定在自己所属的key上;不同key的数据肯定不会划分到相同窗口中去! 滚动窗口 滑动窗口 会话窗口 没有固定的窗口长度,也没有固定的滑动步长,而是根据数据流中前后两个事件的时间间隔是否超出阈值(session gap)来划分;原创 2022-12-04 12:03:44 · 783 阅读 · 0 评论 -
Flink系列文档-(YY11)-watermark工作机制
观察源码/****/@Public/****/}}}}原创 2022-12-02 16:32:38 · 933 阅读 · 0 评论 -
Flink系列文档-(YY10)-Flink时间语义的watermark
由宇宙客观规律以恒定速度,不可停滞地推进 , 而事件时间,并不能像处理时间那样,(事件可能出现延迟,乱序);由于在事件时间语义的世界观中,时间是由流入系统的数据(事件)而推进的;显然,在事件时间语义的世界观中,时间的推进,并不是一件显而易见的事情;下游分区接收上游多个分区的数据,数据时间错落有致,那以谁为准?数据时间存在乱序的可能性,但时光不能倒流啊!1 事件时间推进的困难。1 事件时间推进的困难。原创 2022-11-13 22:37:06 · 601 阅读 · 0 评论 -
Flink系列文档-(YY09)-Flink时间语义
Flink系列文档-(YY09)-Flink时间语义原创 2022-11-13 22:05:54 · 750 阅读 · 0 评论 -
Flink系列文档-(YY08)-Flink核心概念
也可把多个算子的逻辑chain在一起后封装在一个独立的task中(可以有多个运行时实例:subTask);一个算子的逻辑,可以封装在一个独立的task中(可以有多个运行时实例:subTask);同一个task的不同运行实例,必须放在不同的task slot上运行;startNewChain 对算子开启新链(即禁用算子前链合并)同一个task slot,可以运行多个不同task的各一个并行实例;上下游算子属于相同的slotSharingGroup(槽位共享组);3个条件都满足,才能合并为一个task;原创 2022-11-11 22:28:56 · 1533 阅读 · 0 评论 -
Flink系列文档-(YY07)-Flink编程API-process function
Flink系列文档-(YY07)-Flink编程API-process function原创 2022-11-11 22:09:20 · 579 阅读 · 0 评论 -
Flink系列文档-(YY06)-Flink编程API-Sink
Flink系列文档-(YY06)-Flink编程API-Sink原创 2022-11-08 23:19:01 · 1132 阅读 · 0 评论 -
Flink系列文档-(YY05)-Flink编程API-多流算子
Flink系列文档-(YY05)-Flink编程API-多流算子原创 2022-11-08 15:52:35 · 1048 阅读 · 0 评论 -
Flink系列文档-(YY04)-Flink编程基础API-Transformation算子
Flink系列文档-(YY04)-Flink编程基础API-Transformation算子原创 2022-11-07 23:30:18 · 784 阅读 · 0 评论 -
Flink系列文档-(YY03)-Flink编程基础API-Source
Flink系列文档-(YY03)-Flink编程基础API原创 2022-11-07 22:01:33 · 1099 阅读 · 0 评论 -
Flink系列文档-(YY02)-Flink编程基础-入门示例
Flink系列文档-(YY02)-Flink编程基础-入门示例原创 2022-11-07 21:20:13 · 992 阅读 · 0 评论 -
Flink系列文档-(YY01)-初识Flink
Flink系列文档-(YY01)-初始Flink原创 2022-11-07 13:51:41 · 898 阅读 · 0 评论