Flink-SQL 写入PostgreSQL 问题汇总

已于 2024-03-28 09:29:46 修改
阅读量1.8k 收藏 1
点赞数
分类专栏： Flink SQL 文章标签： flink-sql
于 2023-06-25 10:03:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dymkkj/article/details/131371185
版权

​

1.主键字段为空问题

  • 错误信息
org.apache.flink.table.api.TableException: Column 'bus_no' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='DROP' to suppress this exception and drop such records silently.

在这里插入图片描述

  • 问题原因
    	sink 表定义了主键，flink-sql在使用jdbc 插入时，定义的主键中的属性存在空值
PRIMARY  KEY (col,col2,col3,col4,col5,col6,col7) NOT ENFORCED
  • 解决
    确定主键属性是否有空值，若为空则确定是否可作为主键属性（若正确则将其置为默认值）；若不符合业务情况，则重新定义主属性集合，确保不出现空值
    ​

2.flink-sql jdbc 并发写入Mysql出现死锁

  • 错误信息
 org.apache.flink.connector.jdbc.internal.JdbcOutputFormat.flush(JdbcOutputFormat.java:240)
java.sql.BatchUpdateException: Batch entry 0 INSERT INTO dm_hljy.dm_hljy_sims_day_payment_info(sign_year_type, pay_source, campus_name, school_name, depart_name, pay_time, pay_channel_name, day_fee_amounts) VALUES ('2033', '3', '教育 ', ' 初级中学', ' 初级中学', '2022-02-18 00:00:00+08'::timestamp, '微信', '61310.00'::numeric) ON DUPLICATE KEY UPDATE day_fee_amounts=VALUES(day_fee_amounts) was aborted: ERROR: dn_6003_6004: deadlock detected
  Detail: Process 139972369676032 waits for ShareLock on transaction 1091179704; blocked by process 139976955991808.
Process 139976955991808 waits for ShareLock on transaction 1091179703; blocked by process 139972369676032.
  Hint: See server log for query details.  Call getNextException to see other errors in the batch.
	at com.huawei.gauss200.jdbc.jdbc.BatchResultHandler.handleCompletion(BatchResultHandler.java:171) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at com.huawei.gauss200.jdbc.core.v3.QueryExecutorImpl.executeBatch(QueryExecutorImpl.java:586) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at com.huawei.gauss200.jdbc.jdbc.PgStatement.executeBatch(PgStatement.java:883) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at com.huawei.gauss200.jdbc.jdbc.PgPreparedStatement.executeBatch(PgPreparedStatement.java:1580) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at org.apache.flink.connector.jdbc.statement.FieldNamedPreparedStatementImpl.executeBatch(FieldNamedPreparedStatementImpl.java:65) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.executor.TableSimpleStatementExecutor.executeBatch(TableSimpleStatementExecutor.java:64) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.executor.TableBufferReducedStatementExecutor.executeBatch(TableBufferReducedStatementExecutor.java:101) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.JdbcOutputFormat.attemptFlush(JdbcOutputFormat.java:266) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.JdbcOutputFormat.flush(JdbcOutputFormat.java:236) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.JdbcOutputFormat.writeRecord(JdbcOutputFormat.java:215) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.connector.jdbc.internal.GenericJdbcSinkFunction.invoke(GenericJdbcSinkFunction.java:57) ~[flink-connector-jdbc-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.table.runtime.operators.sink.SinkOperator.processElement(SinkOperator.java:65) ~[flink-table-runtime-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.pushToOperator(CopyingChainingOutput.java:82) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:57) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:29) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:56) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:29) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.api.operators.TimestampedCollector.collect(TimestampedCollector.java:51) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.table.runtime.operators.sink.SinkUpsertMaterializer.processElement(SinkUpsertMaterializer.java:128) ~[flink-table-runtime-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:233) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.io.AbstractStreamTaskNetworkInput.processElement(AbstractStreamTaskNetworkInput.java:134) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.io.AbstractStreamTaskNetworkInput.emitNext(AbstractStreamTaskNetworkInput.java:105) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:524) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:216) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:812) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:761) ~[flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958) [flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:937) [flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:751) [flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:573) [flink-dist-1.15.0-h0.cbu.mrs.320.r33.jar:1.15.0-h0.cbu.mrs.320.r33]
	at java.lang.Thread.run(Thread.java:750) [?:1.8.0_332]
Caused by: com.huawei.gauss200.jdbc.util.PSQLException: ERROR: dn_6003_6004: deadlock detected
  Detail: Process 139972369676032 waits for ShareLock on transaction 1091179704; blocked by process 139976955991808.
Process 139976955991808 waits for ShareLock on transaction 1091179703; blocked by process 139972369676032.
  Hint: See server log for query details.
	at com.huawei.gauss200.jdbc.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2856) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at com.huawei.gauss200.jdbc.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2587) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	at com.huawei.gauss200.jdbc.core.v3.QueryExecutorImpl.executeBatch(QueryExecutorImpl.java:575) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
	... 30 more

在这里插入图片描述

  • 错误原因
flink-sql在写入sql时定义了主键，flink-sql进行upser 操作（主键记录不存在则进行insert，存在则进行update）
flink-sql 插入时，会根据主键对sink表进行查询，若并发度大于1,则可能存在两个及以上线程查询同一条记录，出现死锁情况
  • 解决
 设置flink-sql jdbc 并发度为1，（flink jdbc 并发度跟随flink 作业并发度；也可以单独设置）
设置flink-sql 并发度 ： parallelism.default: 1
也可以单独设置jdbc 并发度： （不跟随flink作业并发度） 
WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:gaussdb://dws-hl-datalake.dws.myhuaweiclouds.com:8000/hl_datamart',
  'table-name' = 'dm_hljy.dm_hljy_sims_security_send_back_student_info',
   'connection.max-retry-timeout' = '600s',
  'sink.max-retries' = '6',
   'sink.parallelism'= '1',
   'username' = '用户名',
   'password' = ‘密码'
 );

postgreSQL 的schema未指定导致数据插入失败

在这里插入图片描述

  • 原因：postgreSQL包含database，schema，table三级结构，在生产环境未指定特定schema(dm_hljy),导致插入数据到public，出现错误,官方文档如下
    在这里插入图片描述
  • 解决：设置flink-sql的parallelism 并行度为1,或修改flink-sql sink.parallelism = 1
青山流水在深谷
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink PostgreSQL CDC配置和常见问题
xiweiller的博客
07-28 8486
Postgres的CDC源表（即Postgres的流式源表）用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读也不少读一条数据。即使发生故障，也能采用ExactlyOnce方式处理。idINT,PRIMARYKEY(`id`)NOTENFORCED--如果要同步的数据库表定义了主键,则这里也需要定义)WITH('connector'='postgres-cdc',--固定值'postgres-cdc'......
关于flink cdc 抽取oracle数据 oracle表名大小写的问题
spring_itheima的博客
07-28 800
flink cdc 抽取oracle数据 oracle数据库的版本是11g
连接高斯GaussDB报错：Invalid or unsupported by client SCRAM mechanisms
最新发布
NAMELZX的博客
04-23 1119
gsjdbc4和openguass的驱动类都是org.postgresql.Driver，与postgresql一致，同时连接串也是与postgresql一致。那么这里就会导致与postgresql驱动包会有冲突。gsjdbc200的驱动类是com.huawei.gauss200.jdbc.Driver，连接串是jdbc:gaussdb://:/-- GaussDB (兼容)驱动 -->：用gsjdbc200,同时修改好驱动类及连接串。
dinky0.7.1+flinkcdc2.3.0整库同步pgsql
weixin_45249411的博客
03-08 776
dinky0.7.1+flinkcdc2.3.0整库同步pgsql
Flinksql 读写pgsql
m0_50670853的博客
06-27 1744
2 踩坑 如果pgsql使用了schema,name此时表名需要``转义,否则会报找不到medical object
Flink sql写入Postgresql时 解决非空列存在Null值办法
徐腾瑞的博客
07-01 3078
报错信息如下: aused by: org.apache.flink.table.api.TableException: Column 'som_sysno' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such
flink-sql-connector-postgres-cdc-1.2.0.jar
03-05
flink cdc postgres 数据同步 jar包，2021年最新版
FLink-jdbcsink读取kafka数据写入postgres
qq_41685616的博客
12-05 1829
记录一次使用FLink流式读取kafka数据并用jdbcsink写入postgres时，遇到的问题：即：程序正常运行，但写入没有反应，数据库中无记录。
flinksql postgres到mysql
letterss的博客
08-24 1411
最近在学flink用ddl语句写任务，postgres到mysql总是报错，中间遇到了很多坑，自己做完总结一下。
Flink输出端保证之幂等写入和事务写入
weixin_43816721的博客
05-23 394
flink的输出端保证之幂等写入方式和事务写入
FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式
lg4546的专栏
12-06 2393
Flinkcdc 实时同步PG数据库表
mysql实时同步pg
01-17
Flink CDC是一种基于Flink的Change Data Capture（CDC）工具，用于实现数据库之间的实时数据同步。在这个场景中，我们将使用Flink CDC来实现MySQL到PostgreSQL的实时数据同步。 首先，我们需要配置源数据库和目标数据库的信息。在MySQL端，我们需要指定要同步的数据库和表，以及MySQL的连接信息。在PostgreSQL端，我们需要指定要同步的目标数据库和表，以及PostgreSQL的连接信息。 接下来，我们需要运行MysqlCDC中的main函数来启动Flink CDC作业。这个作业将会从MySQL源数据库中捕获变更数据，并将其转发到PostgreSQL目标数据库中。 在这个过程中，Flink CDC会使用datastream方式来处理数据。它会将MySQL中的数据变更转换为Flink的DataStream，并通过自定义的sink将数据写入到PostgreSQL中。 此外，Flink CDC还支持DDL变更，这意味着当MySQL中的表结构发生变化时，Flink CDC能够自动适应这些变化，并将其同步到PostgreSQL中。 另
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
当你需要在 Flink SQL 环境中从 Kafka 读取数据或向 Kafka 写入数据时，你可以使用这个 JAR 包。这个连接器支持 Flink SQL 的标准 DDL (Data Definition Language) 和 DML (Data Manipulation Language)
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-oceanbase-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oceanbase-cdc 2.5-SNAPSHOT
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink连接kafka，postgresql sink
weixin_43315211的博客
03-12 3436
配置文件Baseconf package com.conf; public class BaseConf { public static final String USERNAME = "postgres"; public static final String PASSWORD = "passwd"; public static final String DRIVERN...
flinksql(1) kafka-join-pg
flz0429的博客
04-05 2316
pom <properties> <!-- 声明版本号，以后统一在这里进行管理--> <flink.version>1.14.4</flink.version> <flink.version>1.14.4</flink.version> <scala.version>2.11</scala.version> <postgresql.version>42.3.0.
flink-sql-connector 和flink-connector 区别
05-17
Flink-SQL-Connector 和 Flink-Connector 都是 Apache Flink 的连接器，但它们的主要区别在于用途和功能。 Flink-SQL-Connector 是为了支持 Flink SQL 而开发的一组连接器，它们包括 JDBC、Elasticsearch、Kafka、HBase、JMS、Cassandra、Hive 和 MySQL 等。这些连接器可以将 Flink SQL 的查询结果发送到特定的数据源中，或从特定的数据源中读取数据并用于 Flink SQL 查询。因此，Flink-SQL-Connector 的主要用途是支持 Flink SQL 查询操作。 Flink-Connector 则是一个更通用的连接器框架，它提供了一种通用的方式来与外部系统进行交互，例如读写文件、消息队列、数据库、NoSQL 数据库、流处理引擎等。Flink-Connector 提供了一组接口和类来支持开发者编写自定义的连接器，以便与其他系统集成。因此，Flink-Connector 的主要用途是支持 Flink 与其他系统的交互操作，而不仅仅是支持 Flink SQL 查询操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值