Flink源码阅读之JDBC Connector

JDBC connector的入口JdbcDynamicTableFactory,提供了source和sink的支持,详细内容参考官网

Source

在Factory类中通过createDynamicTableSource来创建JdbcDynamicTableSource,并将需要的所有参数传递过去。

jdbc作为source有两种用途:1.数据源使用Scan 2.维表关联使用Lookup。

Scan

通过JdbcRowDataInputFormat来实现数据读取,同时支持了列裁剪,limit下推。

注意:scan source只支持batch。

public ScanRuntimeProvider getScanRuntimeProvider(ScanContext runtimeProviderContext) {
   
  			//构造JdbcRowDataInputFormat,传递基础属性
        final JdbcRowDataInputFormat.Builder builder =
                JdbcRowDataInputFormat.builder()
                        .setDrivername(options.getDriverName())
                        .setDBUrl(options.getDbURL())
                        .setUsername(options.getUsername().orElse(null))
                        .setPassword(options.getPassword().orElse(null))
                        .setAutoCommit(readOptions.getAutoCommit());

        if (readOptions.getFetchSize() != 0) {
   
            builder.setFetchSize(readOptions.getFetchSize());
        }
        final JdbcDialect dialect = options.getDialect();//jdbc方言,目前支持mysql、postgres、derby,是根据url来推断
        String query =
                dialect.getSelectFromStatement(
                        options.getTableName(), physicalSchema.getFieldNames(), new String[0]);//构造select语句
        if (readOptions.getPartitionColumnName().isPresent()) {
   //支持并发读取,提高读取速度
            long lowerBound = readOptions.getPartitionLowerBound().get
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Flink-connector-jdbc是Apache Flink的一个官方连接器,用于将Flink与关系型数据库(如MySQL、PostgreSQL等)进行集成。 要下载Flink-connector-jdbc,可以按照以下步骤进行操作: 1. 打开Apache Flink的官方网站(https://flink.apache.org/)。 2. 导航到"Downloads"(下载)页面,这里提供了Flink的各种版本。 3. 选择所需的Flink版本并下载对应的二进制文件。通常,您可以选择最新的稳定版本。 4. 在下载的Flink二进制文件中,找到一个名为"flink-connector-jdbc"的目录。该目录中包含了Flink与关系型数据库进行连接所需的所有库和文件。 5. 将"flink-connector-jdbc"目录复制到您的工作环境中,以便您可以在Flink应用程序中使用它。 6. 现在,您可以将"flink-connector-jdbc"添加到您的Flink应用程序的依赖中,并开始使用它。 如果您需要使用Maven进行构建,可以在您的Maven配置文件(pom.xml)中添加以下依赖: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 请注意替换`${scala.binary.version}`和`${flink.version}`为您要使用的具体版本。 下载Flink-connector-jdbc后,您就可以使用它来将Flink与关系型数据库进行集成,实现从数据库中读取数据或将数据写入到数据库中。您可以使用FlinkJDBC连接器来定义数据库表的结构,并使用SQL或DataStream API操作和处理数据库中的数据。通过Flink-connector-jdbc,您可以轻松地利用Flink强大的数据处理能力与关系型数据库进行交互。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值