Flink Connector系列
文章平均质量分 86
优优我心
这个作者很懒,什么都没留下…
展开
-
Flink源码阅读之JDBC Connector
JDBC connector的入口JdbcDynamicTableFactory,提供了source和sink的支持,详细内容参考官网。Source在Factory类中通过createDynamicTableSource来创建JdbcDynamicTableSource,并将需要的所有参数传递过去。jdbc作为source有两种用途:1.数据源使用Scan 2.维表关联使用Lookup。Scan通过JdbcRowDataInputFormat来实现数据读取,同时支持了列裁剪,limit下推。注意原创 2021-02-18 16:56:53 · 1823 阅读 · 1 评论 -
Flink源码阅读系列之Kafka Connector
本文基于Flink 1.12版本,目前这个版本已经不需要再指定具体的kafka版本了。本文从Sql角度分析一下,创建一个kafka的table之后,flink是如何从kafka中读写数据的。入口依然是通过SPI机制找到kafka的factory(KafkaDynamicTableFactory),Flink中大量使用了SPI机制,有时间再整理一篇SPI在Flink中的应用。话不多说,进入正题。Source通过createDynamicTableSource方法创建 kafka source,这里主原创 2021-02-08 17:57:27 · 735 阅读 · 0 评论 -
Flink实战之FileSystem-parquet支持ZSTD压缩
==原创 2020-10-28 14:55:01 · 1530 阅读 · 0 评论 -
Flink源码阅读之FileSystem Connector
代码在flink-table-runtime-blink模块,用户指南参考官网.目前是旧的实现方式,将会按FLIP-95重新实现FLINK-19336入口类FileSystemTableFactory,如何做Factory discover的可以参考之前的博文,这里就不赘述了。Sink构造FileSystemTableSink对象,传入相关属性参数public TableSink<RowData> createTableSink(TableSinkFactory.Context con原创 2020-10-21 00:51:33 · 1126 阅读 · 1 评论