java解析kafkaavro_java – 为什么将Avro与Kafka一起使用 – 如何处理POJO

你不需要AVSC,

you can use an AVDL file,它基本上和只有字段的POJO相同

@namespace("com.example.mycode.avro")

protocol ExampleProtocol {

record User {

long id;

string name;

}

}

当使用Maven插件的idl-protocol目标时,将为您创建此AVSC,而不是您自己编写它.

{

"type" : "record",

"name" : "User",

"namespace" : "com.example.mycode.avro",

"fields" : [ {

"name" : "id",

"type" : "long"

}, {

"name" : "name",

"type" : "string"

} ]

}

它还会在您的类路径中放置一个SpecificData POJO User.java,以便在您的代码中使用.

如果您已经有POJO,则无需使用AVSC或AVDL文件.有转换POJO的库.例如,您can use Jackson,不仅仅是JSON,您只需要为Kafka创建一个JacksonAvroSerializer,或者查找是否存在.

那么问题 – 为什么Avro(对于Kafka)？

好吧,拥有一个架构是一件好事.想想RDBMS表,你可以解释一下表,然后你会看到所有的列.转移到NoSQL文档数据库,它们可以包含任何内容,这就是Kafka的JSON世界.

假设您的Kafka群集中的消费者不知道主题中的内容,他们必须确切地知道主题中产生了谁/什么.他们可以尝试控制台消费者,如果它是像JSON这样的明文,那么他们必须弄清楚他们感兴趣的一些字段,然后一次又一次地执行类似HashMap的.get(“name”)操作,只运行当一个字段不存在时进入NPE.使用Avro,您可以清楚地定义默认值和可空字段.

您不需要使用模式注册表,但它为RDBMS类比提供了这种类型的解释主题语义.它还使您无需发送架构以及每条消息,以及Kafka主题上额外带宽的费用.注册表不仅对Kafka有用,因为它可以用于Spark,Flink,Hive等所有围绕流数据摄取的数据科学分析.

假设你确实想使用JSON,那么try using MsgPack instead你可能会看到你的Kafka吞吐量增加并节省了经纪人的磁盘空间

您还可以使用其他格式,如Protobuf或Thrift,as Uber has compared