
flink cdc
在自身的生产过程中,flink cdc 的使用过程整理
java咸鱼_km
有空写一下代码
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
flink cdc2.2.1同步postgresql表
然后通过postman调用flink的REST api接口提交sql,接口文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/rest_api/在flink1.14.4 和 flink cdc2.2.1下,采用flink sql方式,postgresql同步表数据,本文采用的是上传jar包,利用flink REST api的方式进行sql执行。将项目打包成不带依赖的jar。原创 2025-02-11 15:56:18 · 1095 阅读 · 0 评论 -
flink cdc,standalone模式下,任务运行一段时间taskmanager挂掉
这个配置的含义是,超时(以毫秒为单位),在此之后任务取消超时并导致致命的 TaskManager 错误。原创 2024-01-30 10:15:26 · 1833 阅读 · 0 评论 -
flink cdc 作业异常,unsupportedOperationException 或 illegalArgumentException 却没指明字段名称的处理
类似这种字段映射(异常1,在flink sql中来源表和目标表的对应字段的类型不一致)或 在来源表插入值后,作业报转换异常(异常2,在flink sql中来源表的字段类型配置错误)等,却没有指明是哪个字段的问题时,可以通过覆写RowDataDebeziumDeserializeSchema类型,自己去添加父异常指明有问题的字段名称。异常1,如图:java.lang.UnsupportedOperationException: Unsupported BYTES value type: String。原创 2023-07-19 14:20:56 · 752 阅读 · 0 评论 -
调用flink cdc 接口报400异常
一般通过flink cdc 的run接口执行作业时,如果报400异常,可能你缩写的flink sql 中存在错误,如字段类型不合法,with 子句里面的参数不合法等。原创 2023-07-19 13:53:27 · 138 阅读 · 0 评论 -
flink-cdc安装使用教程(java)
flink cdc 的简单使用原创 2023-07-19 11:31:05 · 1453 阅读 · 1 评论