Flink sql写入Postgresql时 解决非空列存在Null值办法

报错信息如下:

aused by: org.apache.flink.table.api.TableException: Column 'som_sysno' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such records silently

 报错提示需要在表的配置中添加 'table.exec.sink.not-null-enforcer'='drop'参数

具体添加参数如下:

val configuration = fsTableEnv.getConfig.getConfiguration
configuration.setString("table.exec.sink.not-null-enforcer","drop")
  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: 我可以给你一些建议来帮助你使用Flink SQL将数据写入ClickHouse。首先,你可以使用Flink SQL访问和处理数据,然后将处理后的数据写入ClickHouse。其次,你还可以使用Flink SQL提供的支持,将数据从其他数据源加载到ClickHouse中。最后,你可以使用Flink SQL的查询功能,从ClickHouse中查询数据。 ### 回答2: Flink SQL是Apache Flink的一种语言接口,用于使用SQL语句来处理和分析流式数据。而ClickHouse是一个快速、可扩展的列式数据库管理系统,专注于在线分析处理(OLAP)领域。 首先,要在Flink中将数据写入ClickHouse,需要安装并配置好Flink和ClickHouse。确保Flink集群和ClickHouse实例可以互相通信。 然后,可以通过以下步骤将数据从Flink写入ClickHouse: 1. 创建一个Flink Table,并指定要写入的目标表格。可以使用类似于以下代码的方式创建一个表: ```sql CREATE TABLE clickhouse_table ( id INT, name STRING, age INT ) WITH ( 'connector' = 'clickhouse', 'url' = 'clickhouse://localhost:8123', 'table-name' = 'target_table', 'username' = 'your_username', 'password' = 'your_password' ); ``` 2. 在Flink任务中,将数据流转换为一个表,并将表注册为一个临视图。可以使用类似于以下代码的方式将数据流转换为一个表: ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); Table sourceTable = tEnv.fromDataStream(dataStream, "id, name, age"); tEnv.createTemporaryView("source_view", sourceTable); ``` 3. 在Flink任务中,使用INSERT INTO语句将数据从临视图写入目标表。可以使用类似于以下代码的方式将数据写入ClickHouse: ```java tEnv.executeSql("INSERT INTO clickhouse_table SELECT id, name, age FROM source_view"); ``` 4. 启动Flink任务并观察数据是否成功写入ClickHouse。可以使用Flink的日志或ClickHouse的查询语句来验证数据是否被正确写入。 总体而言,通过Flink SQL写入ClickHouse需要完成以下几个步骤:创建目标表、将数据流转换为表、注册视图、使用INSERT INTO语句将数据写入目标表。这样就可以将数据从Flink流式处理引擎写入到ClickHouse数据库中。 ### 回答3: Flink SQL是Apache Flink的一种查询语言,用于在Flink中执行SQL查询和操作。而ClickHouse是一种开源的分布式列式数据库,具有高性能和可伸缩性。因此,我们可以使用Flink SQL将数据写入ClickHouse。 在Flink写入ClickHouse的过程如下: 1. 首先,我们需要在Flink的应用程序中引入相应的依赖,包括Flink SQL和ClickHouse的连接驱动程序。 2. 然后,在Flink应用程序中配置连接到ClickHouse的相关信息,如ClickHouse的地址、端口号、用户名和密码等。 3. 接下来,我们可以使用Flink SQL语句创建一个输出表,指定将数据写入ClickHouse的目标表和字段映射关系。 4. 在Flink应用程序中,我们可以通过编写SQL查询语句来读取需要的数据,并将结果写入到之前定义的输出表中。 5. 最后,通过运行Flink应用程序,Flink会根据SQL语句从数据流中读取数据,并将其写入到ClickHouse中。 综上所述,使用Flink SQL写入ClickHouse的过程可以简化进行数据处理和分析的流程,并享受Flink和ClickHouse各自的优势。这种方式也提供了灵活性和可扩展性,可以满足大规模数据处理和分析的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XuTengRui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值