因为项目选项需要,最近了解了一下几款实时数据同步工具,在此做一个简单介绍和对比,给大家一个参考。
1.Debezium
Debezium是RedHat开源的一个将多种数据源实时变更数据捕获,形成数据流输出的工具。通过安装配置Debezium监控数据库,可以实时消费行级别(row-level)的更改。身为一个分布式系统,Debezium也拥有良好的容错性。
Debezium的源端(即支持监控哪些数据库) : MySQL,MongoDB,PostgreSQL,Oracle,SQL Server。Debezium的目标端(即可以数据导入端) 支持Kafka,是一款功能非常强大的开源软件。
2.MaxWell
Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud