java监听mysql_Java 中能实现监听数据库吗?

最近也在看这个。好像通过CDC实现对binlog的监控,然后实时进行数据传输或者更改。占个坑,等搞好这一块,有时间来回答

好,经过了一段时间的调研以及测试,我现在来回答一下这个问题。

通过CDC(catch data capture)模式可以实现对Java数据库的监听。

现在市面上有这么几种主流的方式:

1.Maxwell,这个框架是基于kafka的,然后通过修改MySQL配置文件可以获取其二进制日志文件,然后通过producer/consumer机制可以实现对biolog(二进制文件)的解析,并输出至kafka。这个的缺点是主要面向MySQL至不同中间管道的输出,而不是各种数据库至中间管道的输出。

2.Debezium,这个框架大概原理上和上面的一致,不同点在于:它是基于confluent platform下的kafka connect,算是数据采集的一种。同时kafka connect前景蛮不错,比flume,sqoop好很多。而且现在这个框架不仅仅有MySQL的采集,还有其他的,例如orale,progressSQL等。

3.canal,这个是阿里出来一个框架,通过伪装可以获取MySQL的二进制文件,但是它有个缺点是需要使用自己的消费端去消费解析后的数据。不过这个很成熟,而且说明文件也是中文的,很好理解。

以上,欢迎指正讨论。后续更补。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值