201_Flink
Flink相关
罗西的思考
这个作者很懒,什么都没留下…
展开
-
[记录点滴] Spark迁移到Flink的几个API点
三个Spark API需要找到对应的Flink API或者替代方法原创 2020-09-05 15:43:53 · 282 阅读 · 0 评论 -
[源码解析] Flink的Slot究竟是什么?(2)
Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用?本文和上文将带领大家一起分析源码,为你揭开Slot背后的机理。原创 2020-09-04 17:03:10 · 476 阅读 · 0 评论 -
[源码解析] Flink的Slot究竟是什么?(1)
Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用?本文和下文将带领大家一起分析源码,为你揭开Slot背后的机理。原创 2020-08-24 15:51:57 · 1459 阅读 · 2 评论 -
[源码解析] 当 Java Stream 遇见 Flink
在分析Alink源码的时候,发现Alink使用了 Java Stream,又去Flink源码搜索,发现Flink也有大量使用。一时兴起,想看看 Java Stream 和 Flink 这种流处理框架的异同点。当然这种比较还是注重于理念和设计思路上的。因为就应用领域和复杂程度来说, Java Stream 和 Flink 属于数量级别的差距。原创 2020-08-17 08:19:00 · 2492 阅读 · 0 评论 -
[源码解析] Flink UDAF 背后做了什么
本文涉及到Flink SQL UDAF,Window 状态管理等部分,希望能起到抛砖引玉的作用,让大家可以借此深入了解这个领域。原创 2020-08-12 07:52:50 · 321 阅读 · 1 评论 -
[源码解析] 从TimeoutException看Flink的心跳机制
本文从一个调试时候常见的异常 "TimeoutException: Heartbeat of TaskManager timed out"切入,为大家剖析Flink的心跳机制。文中代码基于Flink 1.10。原创 2020-06-23 22:06:37 · 1277 阅读 · 0 评论 -
[源码解析] GroupReduce,GroupCombine 和 Flink SQL group by
本文从源码和实例入手,为大家解析 Flink 中 GroupReduce 和 GroupCombine 的用途。也涉及到了 Flink SQL group by 的内部实现。原创 2020-06-16 21:35:44 · 480 阅读 · 0 评论 -
[源码解析] Flink的groupBy和reduce究竟做了什么
GroupBy和reduce是大数据领域常见的算子,但是很多同学应该对其背后机制不甚了解。本文将从源码入手,为大家解析Flink中groupBy和reduce的原理,看看他们在背后做了什么。原创 2020-06-09 20:29:54 · 935 阅读 · 0 评论 -
[源码分析]从UDF不应有状态 切入来剖析Flink SQL代码生成 (修订版)
"Flink SQL UDF不应有状态" 这个技术细节可能有些朋友已经知道了。但是为什么不应该有状态呢?这个恐怕大家就不甚清楚了。本文就带你一起从这个问题点入手,看看Flink SQL究竟是怎么处理UDF,怎么生成对应的SQL代码。原创 2020-05-16 08:40:36 · 570 阅读 · 0 评论 -
[源码分析] 带你梳理 Flink SQL / Table API内部执行流程
本文将简述Flink SQL / Table API的内部实现,为大家把 "从SQL语句到具体执行" 这个流程串起来。并且尽量多提供调用栈,这样大家在遇到问题时就知道应该从什么地方设置断点,对整体架构理解也能更加深入。原创 2020-05-15 21:35:48 · 851 阅读 · 1 评论 -
[源码分析] 从实例和源码入手看 Flink 之广播 Broadcast
本文将通过源码分析和实例讲解,带领大家熟悉Flink的广播变量机制。原创 2020-05-15 21:34:08 · 1368 阅读 · 0 评论 -
[源码分析] 从FlatMap用法到Flink的内部实现
本文将从FlatMap概念和如何使用开始入手,深入到Flink是如何实现FlatMap。希望能让大家对这个概念有更深入的理解。原创 2020-05-15 21:32:44 · 876 阅读 · 0 评论 -
[源码分析] 从源码入手看 Flink Watermark 之传播过程
本文将通过源码分析,带领大家熟悉Flink Watermark 之传播过程,顺便也可以对Flink整体逻辑有一个大致把握。原创 2020-05-14 21:51:25 · 721 阅读 · 0 评论 -
[白话解析] Flink的Watermark机制
对于Flink来说,Watermark是个很难绕过去的概念。本文将从整体的思路上来说,运用感性直觉的思考来帮大家梳理Watermark概念。原创 2020-05-14 21:49:36 · 584 阅读 · 1 评论