二十四、Flink进阶--Flink sql转换为JobGraph过程

最新推荐文章于 2022-12-05 13:27:28 发布
最新推荐文章于 2022-12-05 13:27:28 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： Apache Flink 文章标签： sql转jobgraph flink jobgraph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq475781638/article/details/103290548
版权

1.转换图

在这里插入图片描述
1.sql解析得到sqlNode Tree
2.validator去FunctionCatalog验证udf相关，去CatalogManager验证database相关
3.验证通过会得到一个operation dag
4.opreation dag 转换为 relnode dag
5.优化器去优化relnode,大部分规则 batch和stream是共享的
6.优化后会的到execnode 经过大量的codegen转换为Transformation dag
7.transform dag 就和datastream编写的任务类型，经过 streamGraph和 JobGraph

灰二和杉菜
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink源码分析——批处理模式JobGraph的创建
九师兄
06-25 481
转载：Flink源码分析——批处理模式JobGraph的创建 仅供自己学习。Flink不管是流处理还是批处理都是将我们的程序编译成JobGraph进行提交的，之前我们分析过流处理模式下的JobGraph创建，现在我们来分析一下批处理模式下的JobGraph创建。本文以本地模式为例，分析JobGraph的创建我们仍然以WordCount为例子来分析JobGraph的创建过程，WordCount代码 这个WordCount执行之后生成的DataSet关系图如下所示： 注意这里的Operator并非是指算子层面的
Flink学习:Flink Table/Sql API
最新发布
nzbing的博客
03-11 572
flink
flink sql text to jobGraph
尤托匹亚的博客
12-05 807
flink sql 解析及生成streapGraph，jobGraph源码
四、Flink部署 , job配置与运行
JavaCoder_juejue的博客
03-10 4015
一、安装与配置 1.1standalone 模式 1.1.1上传依赖包 打开配置文件 解压依赖包 通过文件传输工具上传到 opt目录下 [root@localhost ~]# cd / [root@localhost /]# ls bin boot dev etc home jdk lib lib64 media mnt mydata opt proc root run sbin srv swapfile sys tmp usr vagrant
Flink Annotations 源码解析
http://www.54tianzhisheng.cn/
08-10 1341
Flink-Annotations 模块中的类结构如下： https://t.zsxq.com/f6eAu3J 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 —— Flink 配置文件详...
二十六、Flink源码阅读--sql执行转换过程
大数据之路
06-17 2451
flink sql 在执行中是如何从sql语句或者是table api 转为最后的DataStream任务或者是DataSet任务的，本篇我们从源码角度看下中间的执行和转换过程。 DEMO 这是flink的一个单元测试方法，模拟实时数据查询 @Test public void testSelect() throws Exception { StreamExecutionEnvironme...
Flink 源码笔记03—StreamGraph到JobGraph
yiyezhiqiu167的博客
10-13 594
文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable 简介 JobGraph 可以认为是 StreamGraph 的优化图，它将一些符合特定条件的 operators 合并成一个 operator chain，以减少数据在节点之间序列化/反序列化以及网络通信带来的资源消耗。 入口函数 与 StreamGraph 的生成类似，调
Flink 原理与实现：如何生成 JobGraph
lx1309244704的博客
12-10 2086
转载来源：http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/ 继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的St...
如何构建一个flink sql平台
weixin_34161064的博客
10-26 560
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink SQL-Client探索
兴趣使然的的码农
05-07 6948
Flink SQL-Client探索 SQL-Client 就是一个便于大家学习和写 demo 的一个 Flink-SQL 工具，这次文章的基本流程还是根据社区云邪大佬的公开课，和 官方 wiki 的步骤执行的，这里就大体自己捣鼓了一遍记录一下。 前提准备 从 GitHub 上 clone ververica/sql-training 的 Docker 镜像 地址为：https://git...
Flink 1.13 源码解析——Graph的转化以及StreamGraph的构建
EdwardWang_的博客
09-23 1252
Flink 1.13 源码解析 Graph的转化以及StreamGraph的构建
flink sql运用入门
yc_zlj的博客
05-31 3984
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 目前我司项目中有实时大屏的需求，涉及实时计算部分的选型（以开源为基础），目前主流选择有spark,storm和flink。其中storm只...
2、Flink作业转换-JobGraph
江7城子的专栏
07-23 500
Flink客户端在构建出StreamGrap后，会通过优化得到另一个执行计划图 - JobGraph，并将JobGraph提交至JobManager。JobManager根据任务所需资源将其转化成具有并行性质的ExecutionGraph，根据ExecutionGraph进行任务调度。
Apache Flink Client生成StreamGraph
VinoYang的专栏
07-23 7327
概述上文我们分析提交流程时，RemoteStreamEnvironment类的execute方法的第一步就是生成StreamGraph。StreamGraph是用于表示流的拓扑结构的数据结构，它包含了生成JobGraph的必要信息。
Flink JDBC Connector：Flink 与数据库集成最佳实践
程序员小陶的大数据分享
10-30 7053
整理：陈政羽（Flink 社区志愿者） ...
滴滴Flink-1.10升级之路
DiDi_Tech的博客
01-12 2831
桔妹导读：滴滴实时计算引擎从Flink-1.4无缝升级到Flink-1.10版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL引擎等进行了一些优化，在性能和易用性上相较旧版本都...
Flink Table/Sql 流表转换
bwddd的博客
12-18 2502
表到流的转换 动态表可以像普通数据表一样通过insert, update, delete来不断进行修改。 它可能是只有一行， 不断更新表，也可能是一个insert-only的表， 没有update和delete修改， 或者介于两者之间的其他表。 在镜动态表转换为流或将其写入外部系统时，需要将这些更改进行编码。 Flink的Table APIhe sql支持 三种方式来编码一个动态表的变化: Append-onlay流： 仅通过insert 操作修改的动态表可以通过输出插入的行转换为流...
flink中级篇-DAG图的剖析
kangzai
07-22 7475
一.DAG图的总体架构：   Flink框架引擎把执行计划抽象为四层数据结构，分别是API层、静态topology、JobGraph、ExecutionGraph等。 具体的结构入下图： 二. DAG各层级的详情分析 API层 用户通过StreamApI或是BatchAPI描述Job的逻辑,并通过调用链把作业逻辑操作串联起来，对于用户而言，业务抽象的是一个一个的有特定功能的...
64道企业真实Flink题目让你无惧Flink面试（带答案）
热门推荐
百看不如一RUN
02-18 1万+
1、Flink如何保证精确一次性消费 Flink 保证精确一次性消费主要依赖于两种Flink机制 1、Checkpoint机制 2、二阶段提交机制 Checkpoint机制 主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算子的状态，将状态写入状态后端当中。然后将barrir往下流动，当流动到keyby 或者shuffle

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值