flink cdc笔记（三）：flink cdc常见问题及解决办法

最新推荐文章于 2024-05-09 20:38:03 发布
最新推荐文章于 2024-05-09 20:38:03 发布
阅读量3.9k 收藏 4
点赞数
分类专栏： flink cdc 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YiRan_Zhao/article/details/126957226
版权

Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践

1、oracle cdc无法连接数据库

[ERROR] Could not execute SQL statement. Reason:oracle.net.ns.NetException: Listener refused the connection with the following error:
ORA-12505, TNS:listener does not currently know of SID given in connect descriptor

 

对于 SID 和 Service Name 的连接方式并未做区分，而是直接在代码中写死了 SID 的连接方式 (即 port 和 dbname 中间使用 “ : ” 分隔开)

 Service Name的连接方式是 port 和 dbname 中间使用 “ /” 分隔开

2，无法找到oracle表

[ERROR] Could not execute SQL statement. Reason:io.debezium.DebeziumException: Supplemental logging not configured for table MY_SERVICE_NAME.MY_SCHEMA.test. Use command: ALTER TABLE MY_SCHEMA.test ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS

 注意：flink oracle cdc 从库截止2022.9.20日2.0版本之前还不支持oracle从库，以后会不会支持，敬请期待

YiRan_Zhao
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
FlinkCDC读取oracle chunks划分慢问题解决办法
weixin_47825079的博客
09-21 316
单表1200万数据，chunk size=8096，chunk key=ROWID，chunks划分耗时30-40分钟。
ORACLE CDC代码问题
c1951489724的博客
10-08 1503
oracle cdc中的properties前缀问题
2024年大数据最新Flink CDC-Oracle CDC配置及DataStream API实现代码(1)，【深夜思考】
最新发布
2401_84164576的博客
05-09 559
/源数据库连接配置文件//Debezium配置//参考 https://debezium.io/documentation/reference/1.6/connectors/oracle.html#oracle-property-log-mining-strategy//decimal.handling.mode指定connector如何处理DECIMAL和NUMERIC列的值，有3种模式：precise、double和string。
Flink CDC 实时抽取 Oracle 数据-排错&调优
Denny辉的博客
01-12 2457
Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Oracle 的支持。对该版本进行试用并成功实现了对 Oracle 的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。
【FlinkCdc】Flink MysqlCdc连接数据库失败，SSLHandshakeException怎么破？
m0_66705151的博客
05-22 2334
Flink MysqlCdc连接数据库失败，报SSLHandshakeException，应该怎么破？
Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践
大数据星球-浪尖
01-02 2536
Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Oracle 的支持。笔者第一时间下载了该版本进行试用...
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
flink-1.13.6_cdc
07-07
标题中的"flink-1.13.6_cdc"指的是Apache Flink的1.13.6版本，专门用于Change Data Capture (CDC)的实现。Flink是流行的开源流处理框架，它允许实时处理数据流，而CDC则是一种技术，用于捕获数据库中的更改事件并将...
大数据技术之Flink CDC视频教程
07-08
视频详细讲解，需要的小伙伴自行网盘下载，链接见附件，永久有效。 课程介绍 ...更为用户调研了Flink的Flink CDC 2.0，基于1.x的技术痛点，2.0给出了更优化的解决方案，教程结合源码深入分析了其核心原理。
flink CDC监控PG数据库的demo案例
04-19
标题 "flink CDC监控PG数据库的demo案例" 涉及到的是使用Apache Flink的Change Data Capture (CDC)功能来实时监控PostgreSQL (PG)数据库的变化。Flink CDC允许我们近乎实时地捕获数据库中的插入、更新和删除操作，...
Flink-CDC 关闭初始化读表锁, DDL 锁 Schema 锁, 使用增量或者全量或者指定偏移量
BIG.KE的博客
02-24 1584
Snapshot step 3 的时候会进行锁表,Snapshot step 7 的时候读全量表。Snapshot step 6 的时候会锁库。
flink cdc全量阶段拉取数据过多导致java heap space
xiaoye1360715890的博客
05-22 781
排查到这张表的单条数据非常大,有个字段时text类型,而flink cdc 拉取数据是用select *去拉取的,导致查出来的数据非常多,且这些数据全部在内存中。数据因数=(主键最大值 - 最小值) / 估算的数据行数,注意,这里数据行数是用 SHOW TABLE STATUS 查出来的,取得是Rows字段。使用阿里云flink实时计算平台,全新启动flink作业后,作业不报错,无任何异常,也不拉取数据.实际启动的时候可以根据表的相关数据计算内存应该给到多少,也可以缩小chunk的size.
FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决
csdn_lan的博客
05-10 1444
使用FlinkCDC进行数据同步时，出现增量阶段写入并行度强制为1导致整体同步性能无法提升问题的解决方案
基于 Flink SQL CDC 的实时数据同步方案 转载
橘子汽水的博客
02-28 1245
我们可以通过 CDC 把维表的数据导入到维表 Join 的状态里面，在这个 State 里面因为它是一个分布式的 State ，里面保存了 Database 里面实时的数据库维表镜像，当消息队列数据过来时候无需再次查询远程的数据库了，直接查询本地磁盘的 State ，避免了 IO 操作，实现了低延迟、高吞吐，更精准。通过这种方式提高系统的稳健性，也方便后续的维护。是的，数据同步到 kafka ，首先需要 kafka 在分区中保证有序，同一个 key 的变更数据需要打入到同一个 kafka 的分区里面。
FlinkCDC 入门之数据同步和故障恢复
庄周de蝴蝶的博客
03-19 2541
FlinkCDC 是一款基于 Change Data Capture（CDC）技术的数据同步工具，可以用于将关系型数据库中的数据实时同步到 Flink 流处理中进行实时计算和分析，下图来自官网的介绍。下图1是 FlinkCDC 与其它常见 开源 CDC 方案的对比：可以看见的是相比于其它开源产品，FlinkCDC 不仅支持增量同步，还支持全量/全量+增量的同步，同时 FlinkCDC 还支持故障恢复（基于检查点机制实现），能够快速恢复数据同步的进度，并且支持的数据源也很丰富。
FlinkCDC 运行报错（求解决）
CJunZero的博客
02-09 672
FlinkCDC报错
ORA-12505, TNS:listener does not currently know of SID given
清水的专栏
05-28 264
ORA-12505, TNS:listener does not currently know of SID given in connect descriptor
FLink-CDC 的Oracle连接器的demo
YPeiQi的博客
04-20 1172
利用flink的DatStream API 创建任务自定义输出格式 - -> {schema:xx , table:xx, data:{xx:xx,yy:yy}}
flink cdc安装
06-09
Flink CDC 组件的安装可以参考以下步骤： 1. 确认 Flink 版本：Flink CDC 只支持特定版本的 Flink，可以在 Flink CDC 的 GitHub 仓库（https://github.com/ververica/flink-cdc）中查看支持的 Flink 版本。 2. 下载 Flink CDC jar 包：从 Flink CDC 的 GitHub 仓库中下载对应版本的 Flink CDC jar 包，例如：`wget https://github.com/ververica/flink-cdc/releases/download/v0.1.0/flink-cdc-0.1.0.jar` 3. 将 Flink CDC jar 包添加到 Flink 的 classpath 中：可以通过修改 Flink 的 conf/flink-conf.yaml 配置文件，在其中添加以下配置： ``` classloader.parent-first-patterns.additional: [ "org.apache.flink.*, org.apache.kafka.clients.consumer.*" ] classloader.resolve-order: parent-first classloader.parent-first-patterns: [ "flink-cdc-.*" ] plugin.metrics.reporter: flink-cdc plugin.metrics.reporter.flink-cdc.class: org.apache.flink.metrics.prometheus.PrometheusReporter plugin.metrics.reporter.flink-cdc.port: 9250 plugin.metrics.reporter.flink-cdc.config: { "prometheus.pushgateway.host": "localhost", "prometheus.pushgateway.jobName": "flink-cdc" } ``` 4. 启动 Flink：通过执行 `./bin/start-cluster.sh` 启动 Flink 集群。 5. 部署 Flink CDC 应用程序：可以通过 Flink 的 Web UI 或命令行部署 Flink CDC 应用程序，例如：`./bin/flink run -d -c org.apache.flink.cdc.examples.MysqlBinlogExample /path/to/flink-cdc-0.1.0.jar` 6. 验证 Flink CDC：可以通过 Flink 的 Web UI 或命令行查看 Flink CDC 应用程序的状态和日志，确保 Flink CDC 正常运行。 注意：Flink CDC 目前还处于实验阶段，使用时需要谨慎评估其稳定性和性能。同时，Flink CDC 还需要依赖外部的 CDC 工具或插件，例如 Debezium 和 Canal，需要根据实际情况进行选择和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YiRan_Zhao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值