debezium
芹菜学长
一个p大点事儿都能发文章的人
展开
-
debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化
debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化背景avro 序列化与json序列化方式比较默认的kafka的connect 使用的是一种json的方式完成的序列化。这种json的序列化的结构数据比较冗长。在kafka中存储数据的同时,也存储数据的其它结构信息(每条数据都要存储一遍),这样占用大量的空间。confluent avro序列化的优点:Avro模式将表的结构信息存储在schema registry中,所以在kafka每个记录原创 2020-08-08 19:49:55 · 1401 阅读 · 0 评论 -
Debezium 捕获mysql的CDC数据并且写入kafka
Debezium 捕获mysql的CDC数据并且写入kafka环境准备:环境中已有kafka的集群环境中已有zookeeper集群Mysql安装完成,并且开启了binlog软件准备:下载confluent community下载debezium mysql connector原理:kafka connect 利用 debezium mysql connector插件,监控Mysql的Binlog日志。将数据写入到kafka中。部署过程此处使用的是kafka connect s原创 2020-08-08 12:55:17 · 1577 阅读 · 0 评论 -
Mysql Binlog + Debezium + Kafka链路打通
Mysql Binlog + Debezium + Kafka链路打通(standalone模式)测试Debezium利用mysql的二进制日志打入Kafka这套链路过程环境:zookeeper集群(已有)kafka集群(已有)CentOS 7mysql (已有)准备软件:confluent community 5.5start开启zookeeper集群开启kafka集群mysql 要开启binlog,且mysql里面新建一个库找个目录解压confluenttar原创 2020-08-02 13:58:16 · 749 阅读 · 2 评论