debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化

debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化

背景

avro 序列化与json序列化方式比较

默认的kafka的connect 使用的是一种json的方式完成的序列化。这种json的序列化的结构数据比较冗长。在kafka中存储数据的同时，也存储数据的其它结构信息（每条数据都要存储一遍），这样占用大量的空间。
confluent avro序列化的优点:
Avro模式将表的结构信息存储在schema registry中，所以在kafka每个记录只需要包含一个很小的模式标识符。这使得每条记录更小。对于像Kafka这样受I/O限制的系统，这意味着生产者和消费者的总吞吐量更高。

confluent 启用schema registry

下载confluent community 5.5并解压，修改confluent中的

vim etc/schema-registry/schema-registry.properties

参考的修改内容:

启动schema registry

schema-registry-start etc/schema-registry/schema-registry.propertie