flink实战--flinksql连接器(jdbc-connector)添加对clickhouse的支持

阿华田512

已于 2022-08-05 17:38:47 修改

阅读量3.5k

点赞数

分类专栏： Flink学习必读系列 clickhouse 文章标签： flink clickhouse flinksql 大数据

于 2021-02-04 20:31:49 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/113663806

版权

Flink学习必读系列同时被 2 个专栏收录

67 篇文章 553 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

clickhouse

5 篇文章 5 订阅

订阅专栏

本文详细介绍了如何通过改造Flink的原生jdbc连接器，添加对Clickhouse的支持。首先需要创建ClickHouseDialect，然后修改JdbcDialects代码，接着创建ClickhouseRowConverter。完成这些步骤后，将clickhouse和flink-connector-jdbc的jar包放入flink的lib目录。使用方式与MySQL connector相同，但在实际应用中可能遇到httpclient和httpcore的依赖问题，解决办法是将这两个包也放入lib目录。

摘要由CSDN通过智能技术生成

简介

在目前所有的flink版本中，flinksql原生还不支持直接ddl的方式创建clickhouse表，进行业务开发。需要我们自己实现clickhouse的connector。本文将详细介绍通过改造原生flink-connector-jdbc添加对clickhouse的支持。

步骤

第一步：模仿MySQLDialect编写自己的ClickHouseDialect，代码如下：


public class ClickHouseDialect extends AbstractDialect {
	private static final long serialVersionUID = 1L;
	@Override
	public String dialectName() {
		return "ClickHouse";
	}
	@Override
	public boolean canHandle(String url) {
		return url.startsWith("jdbc:clickhouse:");
	}
	@Override
	public JdbcRowConverter getRowConverter(RowType rowType) {
		return new ClickHouseRowConverter(rowType);
	}
	@Override
	public