FlinkCDC DataStream监听binlog日志导致IO性能下降?

 想通后修改博客文章

为什么呢,会出现监听binlog导致MySQL IO 下降,原因就在于
        1. 在 Flink 1.x 版本中,CDC 采用的是基于 MySQL 的全局锁机制,这意味着在进行 CDC 任务时会对整个 MySQL 数据库进行全局锁定,这样会导致数据库的并发性能下降,对于高并发的生产环境是不适用的。

        2. 而在 Flink 2.x 版本中,CDC 引入了基于 MySQL 的 binlog 拉取机制,避免了全局锁机制的使用。具体来说,Flink 2.x 使用了 MySQL 的 binlog API,通过监听 MySQL 的 binlog 实时获取数据变更,这样就不再需要全局锁定数据库,大大提高了 CDC 任务的并发性能和实时性。

        因此Flink 2.x 版本相比于 1.x 版本,在处理 MySQL CDC 时通常会对 MySQL 的 IO 性能有所影响,但影响相对较小。这是因为 Flink 2.x 使用了基于 MySQL binlog 的实时拉取机制,而不是像 1.x 版本那样全局锁定整个数据库。

         虽然 Flink 2.x 相比于 1.x 版本会引入一些额外的 MySQL IO 负载,但相对于全局锁机制带来的性能下降,这种影响是可以接受且更为优化的。

  • 7
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值