修复flink-jdbc含有schema的表报不存在

博客背景

最近,使用flink读取postgresql的表数据时,代码一直报错,提示表不存在。通过debug发现,flink-jdbc的JDBCDialect类存在一点问题,现记录如下。

环境说明

flink版本:1.9.1
scala版本:2.12
postgresql数据库表结构:
ipark_datacenter:
​    --ods
        – t_test(id, name)

测试代码

import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.SqlTimeTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.io.jdbc.JDBCAppendTableSink;
import org.apache.flink.api.java.io.jdbc.JDBCOptions;
import org.apache.flink.api.java.io.jdbc.JDBCTableSource;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableSchema;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.Json;
import org.apache.flink.table.descriptors.Kafka;
import org.apache.flink.table.descriptors.Rowtime;
import org.apache.flink.table.descriptors.Schema;
import org.apache.flink.table.types.DataType;
import org.apache.flink.table.types.utils.TypeConversions;
import org.apache.flink.types.Row;

/**
 * @Author: maozl
 * @Date: 2019/10/17 17:14
 * @Description:
 */
public class FlinkJdbcDialectBugShow {
   

    public static void main(String[] args) throws Exception {
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);

        //jdbc
        JDBCOptions jdbcOptions = JDBCOptions.builder()
                .setDriverName("org.postgresql.Driver")
                .setDBUrl("jdbc:postgresql://127.0.0.1:65432/ipark_datacenter")
                .setUsername("root")
                .setPassword("admin")
                .setTableName("ods.t_test")
                .build();
        TableSchema tableSchema = TableSchema.builder()
                .fields(new String[]{
   "id", "name"}, new DataType[]{
   TypeConversions.fromLegacyInfoToDataType(BasicTypeInfo.INT_TYPE_INFO), TypeConversions.fromLegacyInfoToDataType(BasicTypeInfo.STRING_TYPE_I
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink-connector-jdbc是Apache Flink的一个官方连接器,用于将Flink与关系型数据库(如MySQL、PostgreSQL等)进行集成。 要下载Flink-connector-jdbc,可以按照以下步骤进行操作: 1. 打开Apache Flink的官方网站(https://flink.apache.org/)。 2. 导航到"Downloads"(下载)页面,这里提供了Flink的各种版本。 3. 选择所需的Flink版本并下载对应的二进制文件。通常,您可以选择最新的稳定版本。 4. 在下载的Flink二进制文件中,找到一个名为"flink-connector-jdbc"的目录。该目录中包含了Flink与关系型数据库进行连接所需的所有库和文件。 5. 将"flink-connector-jdbc"目录复制到您的工作环境中,以便您可以在Flink应用程序中使用它。 6. 现在,您可以将"flink-connector-jdbc"添加到您的Flink应用程序的依赖中,并开始使用它。 如果您需要使用Maven进行构建,可以在您的Maven配置文件(pom.xml)中添加以下依赖: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 请注意替换`${scala.binary.version}`和`${flink.version}`为您要使用的具体版本。 下载Flink-connector-jdbc后,您就可以使用它来将Flink与关系型数据库进行集成,实现从数据库中读取数据或将数据写入到数据库中。您可以使用FlinkJDBC连接器来定义数据库表的结构,并使用SQL或DataStream API操作和处理数据库中的数据。通过Flink-connector-jdbc,您可以轻松地利用Flink强大的数据处理能力与关系型数据库进行交互。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值