你不需要AVSC,
you can use an AVDL file,它基本上和只有字段的POJO相同
@namespace("com.example.mycode.avro")
protocol ExampleProtocol {
record User {
long id;
string name;
}
}
当使用Maven插件的idl-protocol目标时,将为您创建此AVSC,而不是您自己编写它.
{
"type" : "record",
"name" : "User",
"namespace" : "com.example.mycode.avro",
"fields" : [ {
"name" : "id",
"type" : "long"
}, {
"name" : "name",
"type" : "string"
} ]
}
它还会在您的类路径中放置一个SpecificData POJO User.java,以便在您的代码中使用.
如果您已经有POJO,则无需使用AVSC或AVDL文件.有转换POJO的库.例如,您can use Jackson,不仅仅是JSON,您只需要为Kafka创建一个JacksonAvroSerializer,或者查找是否存在.
那么问题 – 为什么Avro(对于Kafka)?
好吧,拥有一个架构是一件好事.想想RDBMS表,你可以解释一下表,然后你会看到所有的列.转移到NoSQL文档数据库,它们可以包含任何内容,这就是Kafka的JSON世界.
假设您的Kafka群集中的消费者不知道主题中的内容,他们必须确切地知道主题中产生了谁/什么.他们可以尝试控制台消费者,如果它是像JSON这样的明文,那么他们必须弄清楚他们感兴趣的一些字段,然后一次又一次地执行类似HashMap的.get(“name”)操作,只运行当一个字段不存在时进入NPE.使用Avro,您可以清楚地定义默认值和可空字段.
您不需要使用模式注册表,但它为RDBMS类比提供了这种类型的解释主题语义.它还使您无需发送架构以及每条消息,以及Kafka主题上额外带宽的费用.注册表不仅对Kafka有用,因为它可以用于Spark,Flink,Hive等所有围绕流数据摄取的数据科学分析.
假设你确实想使用JSON,那么try using MsgPack instead你可能会看到你的Kafka吞吐量增加并节省了经纪人的磁盘空间
您还可以使用其他格式,如Protobuf或Thrift,as Uber has compared