Flink源码解析系列--DataStream JDBC-Sink

打酱油的葫芦娃

已于 2023-11-01 14:54:59 修改

阅读量9.5k

点赞数 2

分类专栏： Flink 文章标签： Flink JDBC 源码

于 2022-02-23 16:40:27 首次发布

本文链接：https://blog.csdn.net/WenWu_Both/article/details/123093673

版权

Flink 专栏收录该内容

19 篇文章 2 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细解析了Flink 1.15-SNAPSHOT版本中DataStream JDBC-Sink的源码，从JdbcOutputFormat的构造函数、JdbcConnectionProvider、JdbcExecutionOptions、StatementExecutorFactory、RecordExtractor，到GenericJdbcSinkFunction的实现路径。重点介绍了JdbcBatchStatementExecutor的执行逻辑和实时性保障机制，以及如何通过Lambda表达式构建函数接口。文章最后提出，可以基于反射动态构建Insert SQL和JdbcStatementBuilder，以支持POJO Sink。

摘要由CSDN通过智能技术生成

本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone.

进行源码分析之前，首先看一下Flink DataStream JDBC-Sink的官方示例:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env
	.fromElements(...)
	.addSink(JdbcSink.sink(
		"insert into books (id, title, author, price, qty) values (?, ?, ?, ?, ?)",
		(ps, t) -> {
			ps.setInt(1, t.id);
			ps.setString(2, t.title);
			ps.setString(3, t.author);
			ps.setDouble(4, t.price);
			ps.setInt(1, t.qty);
		},
		new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
			.withUrl(getDbMetadata().getUrl())
			.withDriverName(getDbMetadata().getDriverClass())
			.build()
	));	
env.execute();

可以看到，addSink传入的是JdbcSink类通过sink方法构建的。