kafka
文章平均质量分 84
温柔的小才
这个作者很懒,什么都没留下…
展开
-
kafka confluent schema registry 实现一个topic支持多个不同schema的表消费(包含报错信息及解决方式)
背景:上篇文章已经说明confluent schema registry优点及如何实现。本文实现kafka confluent schema registry 一个topic多个不同结构的表消费需求上篇文章:kafka Confluent Schema Registry 简单实践_温柔的小才的博客-CSDN博客第一步说明:在上篇文章基础上做修改。首先在原有topic下注册多个schema(这里注册两个做示范)。#进入kafka的目录下执行,启动kafkanohup bin/kafka原创 2022-05-27 19:38:40 · 1147 阅读 · 0 评论 -
kafka Confluent Schema Registry 简单实践
解释及目的:使用传统的Avro API自定义序列化类和反序列化类或者使用Twitter的Bijection类库实现Avro的序列化与反序列化,这两种方法都有一个缺点:在每条Kafka记录里都嵌入了schema,这会让记录的大小成倍地 增加。为了让数据共用一个schema,使用通用的结构模式并使用"schema注册表"来达到目的。Confluent Schema Registry 在处理数据之前,会先读取注册的schema对数据进行解析,避免每条kafka数据都嵌入schema,从而达到数据优化的原创 2022-05-17 11:29:23 · 2452 阅读 · 0 评论