Flink知识集
文章平均质量分 91
基于1.15.2版本,Flink源码阅读
不甚了然
这个作者很懒,什么都没留下…
展开
-
Flink语法扩展--SqlRichExplain为例
SqlRichExplain语法扩展示例原创 2022-04-17 10:47:46 · 2696 阅读 · 2 评论 -
JdbcSink 简析
1、JdbcSink用于DataStream增加Jdbc的Sink输出,主要两个接口:sink()和exactlyOnceSink()。其中exactlyOnceSink()是13版本新增的支持事务性的接口,本次主要介绍sink()接口。public static SinkFunction sink(String sql,JdbcStatementBuilder statementBuilder,JdbcExecutionOptions executionOptions,JdbcConnect原创 2021-07-25 10:48:46 · 3076 阅读 · 1 评论 -
Flink类加载
1.配置以下三个是主要的加载方式配置,其他还有一些插件加载和加载异常处理的配置1、classloader.resolve-orderchild-first(默认)、parent-first。从业务代码加载类时的策略,即先检查业务包还是按通常的java加载机制2、classloader.parent-first-patterns.default指定哪些类首先通过父类加载器解析,默认主要是java、flink、log4j一系列的3、classloader.parent-first-patterns.原创 2022-05-14 10:41:55 · 2428 阅读 · 0 评论 -
声明式资源管理
Flink声明式资源管理原创 2022-09-02 18:57:38 · 632 阅读 · 0 评论 -
Flink Sort-Shuffle读简析
Flink Sort-Shuffle读简析原创 2021-07-25 09:35:25 · 539 阅读 · 1 评论 -
细粒度资源管理
Flink细粒度资源管理原创 2022-09-02 19:09:32 · 836 阅读 · 0 评论 -
Flink Sort-Shuffle写简析
Flink Sort-Shuffle写简析原创 2021-07-21 23:26:36 · 984 阅读 · 2 评论 -
Flink窗口
Flink窗口原创 2022-04-17 10:59:52 · 2409 阅读 · 0 评论 -
Adaptive调度器
Adaptive调度器原创 2022-04-11 17:37:52 · 1025 阅读 · 0 评论 -
FlinkSQL ChangeLog
登录sql-client,创建一个upsert-kafka的sql作业(注意,这里发送给kafka的消息必须带key,普通只有value的消息无法解析,这里的key即是主键的值)发送消息带key和消费消息显示key方式如下作业的DAG图如下。原创 2024-03-02 09:40:59 · 1781 阅读 · 0 评论 -
Flink分区相关
真正有用的信息是在table表的信息当中,核心在tables.put(tablePath, table.copy());这一句当中,table.copy()存储了表信息,最终调用到实现类CatalogTableImpl,其父类的构造函数有分区信息。表中存储了相应的分区信息,SQL最终操作的都是表,所以都是从这取的分区信息,注意这是一个StringList。原创 2024-02-29 19:47:55 · 693 阅读 · 0 评论 -
Flink动态分区裁剪
静态分区裁剪的原理跟谓词下推是一致的,只是适用的是分区表,通过将where条件中的分区条件下推到数据源达到减少分区扫描的目的动态分区裁剪应用于Join场景,这种场景下,分区条件在join的一侧,另一侧无法应用条件进行裁剪静态分区裁剪是静态的规则优化下推,动态分区裁剪是运行时过滤,通过对有条件一侧的表进行过滤,提取结果中的分区数据,然后传递到另一侧的表中进行数据过滤。原创 2024-02-27 20:38:48 · 1136 阅读 · 0 评论 -
FLIP27-Source
Source通常有两个核心的部件:当前的Source接口就是用来创建SplitEnumerator和Reader的工厂类。原创 2024-02-27 20:16:24 · 1031 阅读 · 0 评论 -
Flink Catalog
按照SQL的解析处理流程在Parse解析SQL以后,进入执行流程——executeInternal。其中有个分支专门处理创建Catalog的SQL命令创建Catalog会去全包查找对应的CatalogFactory的子类,然后使用配置的子类构建这里注意,上面的步骤只查询classpath下的类,像HiveCatalog这种外置增加的,在这个步骤里找不到,会抛出NoMatchingTableFactoryException异常之后继续其他步骤处理来获取。原创 2024-02-27 19:59:13 · 1380 阅读 · 0 评论 -
计算引擎CodeGen
解释执行:生成的是非机器码,需要通过中间的解释器翻译成机器码然后执行,一行一行读取翻译,所以执行效率低编译执行:直接生成机器码,执行效率高,但编程难度也高,而且跨平台能力差。原创 2023-08-05 16:00:24 · 542 阅读 · 0 评论 -
Flink Adaptive Batch Scheduler
自适应批调度器,即自动推导设置作业并行度,无需用户手动设置作业并行度,由Flink根据用户设置的期望及作业执行情况,自动设置作业的并行度。原创 2023-08-05 15:52:01 · 326 阅读 · 0 评论 -
Flink Catalog
Flink提供了基础的Catalog接口,自定义Catalog实现此接口即可此外还有一个CatalogFactory接口,用于创建Catalog。原创 2023-08-03 21:07:31 · 346 阅读 · 0 评论 -
Flink优化规则-JoinConditionEqualityTransferRule
Flink扩展的规则,是做相等条件传递的,目前只在批执行模式下有应用l_a = r_b and l_a = r_c的条件推导出 r_b = r_c,同时l_a = r_b和l_a = r_c只会保留一个。原创 2023-08-03 20:50:22 · 122 阅读 · 0 评论 -
Flink On Yarn文件分发
配置就是用于上传第三方文件到yarn上的。原创 2023-08-03 20:45:24 · 299 阅读 · 0 评论 -
Checkpoint源码解析
Flink Checkpoint原创 2023-03-08 19:46:08 · 289 阅读 · 0 评论 -
watermark详解
Flink Watermark原创 2023-03-08 19:18:14 · 1003 阅读 · 0 评论 -
Calcite基础
Calcite结构基础原创 2023-01-08 18:03:53 · 583 阅读 · 0 评论 -
Flink优化器基础
Flink优化器基础原创 2023-01-08 17:52:40 · 296 阅读 · 0 评论 -
Rel转换
Flink SQL转换relNode过程原创 2022-11-24 20:27:17 · 827 阅读 · 0 评论 -
Parse解析
Flink SQL parse解析源码原创 2022-11-15 18:49:30 · 1259 阅读 · 0 评论 -
Flink-SQL基础部分
Flink-SQL的基础流程简析原创 2022-11-04 21:17:58 · 1126 阅读 · 0 评论