【Flink】You can set job configuration ‘table.exec.sink.not-null-enforcer‘=‘drop‘ to suppress this exc

最新推荐文章于 2023-06-25 10:03:52 发布
最新推荐文章于 2023-06-25 10:03:52 发布
阅读量1.6k 收藏 1
点赞数 3
分类专栏： 大数据-flink 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125402544
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在Flink中遇到空值报错的问题，提出了通过设置`table.exec.sink.not-null-enforcer='drop'`来忽略空值的策略，从而避免报错。同时提到了可以通过自定义过滤算子来处理空值。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

Flink写入源头数据是正常的。但是报这个错：You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such records silently

根据报错找到报错位置：

 private Transformation<RowData> applyNotNullEnforcer(
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
使用‘table.exec.sink.not-null-enforcer‘=‘drop‘配置来抑制此异常
2301_79367634的博客
09-04 1160
总结起来，通过设置作业配置中的‘table.exec.sink.not-null-enforcer‘参数为‘drop‘，我们可以在大数据处理过程中处理空值约束异常，并继续将数据写入目标表。通过设置‘table.exec.sink.not-null-enforcer‘参数为‘drop‘，我们可以抑制空值约束异常并继续数据写入操作。通过以上代码，我们成功地配置了‘table.exec.sink.not-null-enforcer‘参数为‘drop‘，以在Flink作业中抑制空值约束异常并继续数据写入操作。
flink实战--flinksql窗口提前触发参数解析
阿华田的博客
06-21 1617
正常线上业务计算设置的window窗口比较大，比如1个小时，甚至1天，一周。那么是不是只能在窗口结束之后才能看到数据呢？是否看到中间数据？对于实时的任务，每天或者一周结束的时候，才输出计算的结果，没有任何意义，我们需要的是实时更新的中间结果数据。比如实时的PV,UV等指标计算。下面介绍一下FlinkSQL如何提前触发窗口计算。在代码中设置如下两个参数： 不开启提前触发窗口 如下 demo，从 kafka 读取数据， 窗口聚合，输出一天的 pv、uv 注：为了方便测试，1 天的窗口改为 1 分钟的窗
Flink sql写入Postgresql时 解决非空列存在Null值办法
徐腾瑞的博客
07-01 3258
报错信息如下: aused by: org.apache.flink.table.api.TableException: Column 'som_sysno' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such
Flink SQL 数据sink到mysql时，非空列存在null值问题
热门推荐
雾岛与鲸的博客
09-10 1万+
flink sql 数据sink到mysql时，非空存在null值，插入mysql报错，配置下面的参数进行解决: table.exec.sink.not-null-enforcer 对表的NOT NULL列约束强制执行不能将空值插入到表中。 Flink支持“错误”（默认）和“删除”强制行为 默认情况下，当将空值写入NOT NULL列时，Flink将检查值并引发运行时异常。 用户可以将行为更改为“删除”，以在不引发异常的情况下静默删除此类记录。 ......
记录一下在使用flink sql设置sink表连接参数时遇到的一个问题
weixin_44762298的博客
11-28 2475
使用flink版本1.11.1，使用flink cdc功能实时获取MySQL数据变化并计算指标，最后使用insert语句sink到MySQL。 在1.11版本之前，sink表建表是这样的： CREATE TABLE zktest( in int, name string, PRIMARY KEY (`id`) NOT ENFORCED ) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://xxx/zktest?useSSL
Flink-SQL 写入PostgreSQL 问题汇总
dymkkj的专栏
06-25 2361
​。
解决Flink Elasticsearch Sink报错org.apache.flink.runtime.client.JobExecutionException: Job execution fai
weixin_42487460的博客
01-22 4196
解决Flink Elasticsearch Sink报错   我的代码如下，代码几乎都是一样的，格式也与官网一致，以下是flink scala elasticsearch6.x版本，尝试过修改5版本的写法也都是一直是报错。 elasticsearch登陆也都是正常的，甚至在本地安装es，尝试是否能跑通还是报错，报错内容也在下面。   elasticsearch sink import java.util import org.apache.flink.api.common.funct
Flink1.14源码编译失败，报错：npm ci --cache-max=0 --no-save
打工日常
11-22 2080
临时起意，想编译下1.14的源码，结果在flink-runtime-web module下报错，导致编译失败。错误如下： npm ci --cache-max=0 --no-save 解决办法： 进入flink-runtime-web的web-dashboard目录下，执行命令： npm install 返回上一级目录，将pom文件中 <arguments>ci --cache-max=0 --no-save</arguments> 改为 <arguments>in
flink 常见问题汇总
没有合适的昵称
10-05 4837
代码如下: import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.DataTypes; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apach
flinksql行转列
mayaohao的博客
06-18 1526
flinksql
FlinkSQL参数优化
sijiwang95的博客
04-12 1367
【代码】FlinkSQL参数优化。
Flink1.12 Streaming TableConfig
GavinKai
11-04 1155
在每个 TableEnvironment 中，TableConfig提供用于当前会话的配置项。 对于常见或者重要的配置项，TableConfig提供带有详细注释的getters和setters方法。 对于更加高级的配置，用户可以直接访问底层的 key-value 配置项。以下章节列举了所有可用于调整 Flink Table 和 SQL API 程序的配置项。 注意因为配置项会在执行操作的不同时间点被读取，所以推荐在实例化 TableEnvironment 后尽早地设置配置项。 // 实...
flink SQL 建表格式
m0_71551473的博客
11-02 1482
-uuid（） 是内置函数，因为日志表没有主键字段。插表时：当把null值写入flink的notnull列时。--跳过compaction ，避免重复消费。这个参数可以设置删除，默认是error报错；--如果json缺少filed是否报错。--并发参数，修改值修改写出文件数。--并发写：这里设为1减少资源占用。--是否无视json转换时的报错。hudi+hive同步。--开启hive同步。
记 - 实时数仓开发实践 - doris/pg/flink
a123147abc的博客
07-28 1514
实时数仓开发 - doris/pg/flink
记 doris - 开发问题与解决系列
a123147abc的博客
08-26 6698
doris - 开发问题与解决系列
flink-sql查询配置与性能优化参数详解-1.13
第一片心意的博客
08-02 4361
本博客是对 flink 1.13 版本的 flink sql 中所有配置的翻译整理。
FlinkSQL MySQL CDC
L, there!
10-22 3001
package com.sm.job import com.sm.function.udf.{ParseDeviceCode, ParsePopularize} import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.log4j...
Flink整合Hive
落幕7的博客
11-29 2306
文章目录Flink整合Hive1、将整合需要的jar包上传到flink的lib目录2、启动hive元数据服务3、如果在sql-client中使用hive的catalog4、在sql-client中使用hive的catalog5、idea里写flinkSQL打包上传到集群运行 Flink整合Hive 1、将整合需要的jar包上传到flink的lib目录 #需要三个jar包 flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar hive-exec-1.2.1.jar hi
flink-table_2.11-1.14.6.jar
最新发布
09-06
`flink-table_2.11-1.14.6.jar` 是 Apache Flink 的一个库文件，用于支持 Flink 的表格 API。 Apache Flink 是一个面向分布式流处理和批处理的开源框架。它的核心思想是将数据处理作为有界和无界数据流的序列。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值