flink实战 -- 数据写入clickhouse(ClickHouseSink)

最新推荐文章于 2024-08-21 08:20:56 发布

_txg

最新推荐文章于 2024-08-21 08:20:56 发布

阅读量1.3w

点赞数 4

分类专栏： # T-FLINK 数据开发

本文链接：https://blog.csdn.net/txgANG/article/details/103737429

版权

本文详细介绍了如何使用Flink JDBC Connector将数据写入ClickHouse，探讨了遇到的不支持Dialect、删除流处理等问题，并提出了最终解决方案，包括自定义ClickHouseDialect和忽略删除流的方法。

摘要由CSDN通过智能技术生成

简介

本文主要介绍如何通过Flink JDBC Connector将数据写入ClickHouse以及直接使用Flink JDBC Connector操作ClickHouse存在什么样的问题。

Flink JDBC Connector的使用

通过JDBCUpsertTableSink.Builder创建一个JDBCUpsertTableSink对象，JDBCUpsertTableSink需要的参数：

private JDBCUpsertTableSink(
		TableSchema schema,
		JDBCOptions options,
		int flushMaxSize,
		long flushIntervalMills,
		int maxRetryTime)

创建TableSchema对象：

TableSchema schema = TableSchema
.builder()
.fields(
	fieldName,
	TypeConversions.fromLegacyInfoToDataType(fieldType)
).build();

创建JDBCOptions对象

JDBCOptions.builder
      .setTableName(tablename)
      .setDBUrl(dbUrl)
      .setDriverName(driverName)
      .setDialect(clickHouseDialect)
      .setUsername(username)
      .setPassword(passdword)
      .build
// ----
private JDBCOptions(
	String dbURL, 
	String tableName, 
	String driverName, 
	String username,
	String password, 
	JDBCDialect dialect // 数据库的方言
)

进入到JDBCDialect这个类中发现源码中并不支持clickHouse Dialect

public final class JDBCDialects {
   

	private static final List<JDBCDialect> DIALECTS = Arrays.asList(
		new DerbyDialect(),
		new MySQLDialect(),
		new PostgresDialect()
	);
	.