一文搞懂Flink重要源码持续更新(目录)

于 2024-09-12 17:13:15 发布
阅读量246 收藏 6
点赞数 7
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mn_kw/article/details/142180866
版权

一文搞懂Flink重要源码

1. Flink 状态（state）源码

点我跳转
一文搞懂Flink 状态（state） 源码

2. Flink CheckPoint 源码

点我跳转
一文搞懂Flink CheckPoint 源码

3. Flink WaterMark 源码

点我跳转
一文搞懂Flink WaterMark 源码

4. Flink Task 数据交互之数据写源码

待编辑，会持续更新

5. Flink Task 数据交互之数据读源码

待编辑，会持续更新

6. Flink Task 数据交互之 Netty 通信源码

待编辑，会持续更新

7. Flink StreamGraph 构建过程源码

待编辑，会持续更新

8. Flink JobGraph 的创建过程源码

待编辑，会持续更新

9. Flink ExecutionGraph构建过程源码

待编辑，会持续更新

10. Flink 实例 WordCount 源码

待编辑，会持续更新

mn_kw
关注
  • 7
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink 成长之路专栏 - 导读目录
BITDDD小栈
10-14 1070
Flink 成长之路专栏简介。
Flink 源码分析之写给大忙人看的 Flink Window 原理
u013939918的博客
07-31 396
Window 可以说是 Flink 中必不可少的 operator 之一，在很多场合都有很非凡的表现。今天呢，我们就一起来看一下 window 是如何实现的。  window 分类 Tumbling Window Sliding Window  Session Window Global Window  window operator  evictor evictor 主要用于做一些数据的自定义操作，可以在执行用户代码之前，也可以在执行用户代码之后，更详细的描
一文搞懂FLink WaterMark源码
最新发布
mn_kw的博客
09-12 414
上述代码的大致实现是，当上游一个task将watermark广播到下游的所有channel（可以理解成下游所有task）之后，下游的task会更新对上游inputChannel记录状态信息中的watermark值，下游每个task都记录这上游所有task的状态值。然后下游task再从所有上游inputChannel（即上游所有task）中选出一个最小值的watermark，如果这个watermark大于最近已经发送的watermark，那么就调用outputHandler对新watermark进行处理。
一文搞懂Flink SQL执行过程
shengjk1的博客
03-15 1303
背景 学习了 apache calcite，基本上把 apache calcite 的官网看了一遍，也写了几个小例子，现在该分析一下 Flink SQL 的执行过程了，其中关于 apache calcite 的部分不深究，因为 apache calcite 有些复杂，真的要了解清楚需要大量时间，本次还是聚焦 Flink. 正文 以 SQL Query 为例 select a.* from a join b on a.id=b.id sql query 入口方法 // sql query 入口方法 ove
一文搞懂 Flink 中的锁
shengjk1的博客
12-28 942
之前在介绍 flink timer 的时候( 一文搞懂 Flink Timer ) 官网有这样的一句话 Flink synchronizes invocations of onTimer() and processElement(). Hence, users do not have to worry about concurrent modification of state. 当时觉得特别奇怪，今天我们就一起来看一下，flink 是如何保证 onTimer 与 processElement 同步的以
一文搞懂 Flink 处理水印全过程
shengjk1的博客
12-25 1650
1. 正文 2. 总结 1.正文 前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例 FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>(topics, new SimpleStringSchema(), properties); consumer.setStartFromL.
flink 不设置水印_一文搞懂 Flink 处理水印全过程
weixin_39673972的博客
01-15 367
1.正文前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例FlinkKafkaConsumer consumer = new FlinkKafkaConsumer(topics, new SimpleStringSchema(), properties);consumer.setSta...
一文让你彻底了解大数据实时计算引擎 Flink
GitChat
02-29 2953
不知道你是否有过和我类似的经历？ 我是 2018 年 6 月加入公司，一直负责监控平台的告警系统。之后，我们的整个监控平台架构中途换过两次，其中一次架构发生了巨大的变化。我们监控告警平台最早的架构如下图所示： 这个架构的挑战难点在于： 海量的监控数据（Metric & Log & Trace 数据）实时写入 ElasticSearch； 多维度的监控指标页面展示（Dashboa...
调试flink源码
大数据星球-浪尖
11-22 2191
本文主要是讲讲flink的源码编译，案例运行，flink源码调试过程。调试flink的源码及案例，需要先clone工程，编一下源码，去掉规范检查，修改工程，最后才是调试运...
Flink快速上手
qq_45972323的博客
09-08 364
基于DataSet API(过时的,不推荐)之后用 DataStream API。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 524
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Flink底层核心
Casual_Lei的博客
09-11 455
Flink 将批处理视为有界的流处理，而流处理则是无界的数据处理。通过这种统一模型，Flink 能够有效地处理不同类型的数据任务。Flink 提供了严格的"精确一次"处理语义，确保在发生故障时，数据不会被重复处理或丢失。事件时间是 Flink 支持的时间语义，它根据事件发生的时间戳来处理数据。Flink 处理的数据流可能会依赖于中间状态（例如计算窗口聚合、join 或带状态的函数），这时状态管理显得尤为重要。JobManager 是 Flink 集群的控制中心，负责调度、管理和协调整个作业的执行。
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践：恶意登录检测实现
永远好奇，无限进步！
09-11 1395
所以，二进制输入完毕，如果满足最终状态，也就是最后停在S1状态，那么输入的二进制数就含有偶数个0。对超时的部分模式序列应用超时函数，对于每个部分模式序列，调用提供的 PatternTimeoutFunction，模式超时函数只能产生一个结果元素。对检测到的序列模式序列应用选择函数，对于每个模式序列，调用提供的 PatternSelectFunction，模式选择函数只能产生一个结果元素。从图上可以看出，输入只有1和0两种。所以有限状态机的工作过程，就是从开始状态，根据不同的输入，自动进行转换的过程。
flink 常见的缩减状态的方式
goTsHgo的博客
09-11 503
Apache Flink 提供了多种缩减状态的机制和方法，开发者可以根据具体的业务场景选择合适的策略，如使用窗口和会话窗口来限制状态的范围，通过状态TTL来自动清理过期状态，使用增量聚合减少状态数据，以及利用RocksDB等外部存储优化状态存储。有效地管理和缩减状态不仅能提升流处理性能，还能降低资源消耗。
flink写入hudi MOR表
zhangyupeng0528的博客
09-10 596
kafka读取数据写入到hudi表，表类型是MOR
大数据-125 - Flink State 02篇 状态原理和原理剖析：广播状态
永远好奇，无限进步！
09-09 2713
在处理前三个动作之后，下一个事件（用户1001的注销动作）被运送到处理用户1001的事件的任务，当任务接收到动作时，它从广播状态中查找到当前模式并且用户1001的先前操作。在上图的右侧，该图显示了操作员的三个并行任务，即摄取模式和用户操作流，评估操作流上的模式，并在下游接收到新模式时，替换为当前活动模式。我们示例应用程序摄取两个数据流，第一个流在网站上提供用户操作，并在上图的左上方展示，用户交互事件包括操作的类型（用户登录、用户注销、添加购物车或者完成付款）和用户的ID，其由颜色编码。
StreamPark集成k8s运行Flink
weixin_45249411的博客
09-08 415
1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)
flink中disableOperatorChaining() 的详解
goTsHgo的博客
09-11 372
是一个全局禁用算子链式合并的工具，适用于需要对每个算子进行细致的性能分析和调试的场景。通过禁用链式合并，开发者可以更清楚地看到每个算子的独立执行情况，从而更有效地优化资源使用或解决性能瓶颈。不过，禁用算子链也会增加调度和通信开销，因此通常只在调试和优化的特定场景下使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值