kafka java 对象_Apache· Kafka -java.lang.实例化将字节流反序列化为Scala case类对象时发生异常...

我用完全不同的方法解决了这个问题。我使用了本例中提供的融合的Kafka客户机https://github.com/jfrazee/schema-registry-examples/tree/master/src/main/scala/io/atomicfinch/examples/flink。我还有一个合流的模式注册表，使用kafka和schema注册表附带的容器化多功能一体解决方案非常容易设置https://docs.confluent.io/current/quickstart/ce-docker-quickstart.html。

我不得不在我的pom.xml文件文件。这将出现在存储库部分。

confluent

http://packages.confluent.io/maven/

这在依赖项部分：

org.apache.flink

flink-avro-confluent-registry

1.8.0

io.confluent

kafka-avro-serializer

5.2.1

使用中提供的代码https://github.com/jfrazee/schema-registry-examples/blob/master/src/main/scala/io/atomicfinch/examples/flink/ConfluentRegistryDeserializationSchema.scala我能够与Confluent schema registry对话，然后 root据avro消息头中的模式id，从schema reg下载模式并给出返回一个GenericRecord对象，从中我可以轻松地任意和所有感兴趣的字段，并创建DeviceData对象的新数据流。

val kafka_consumer = new FlinkKafkaConsumer010("prod.perfwarden.minute",

new ConfluentRegistryDeserializationSchema[GenericRecord](classOf[GenericRecord], "http://localhost:8081"),

properties)

val device_data_stream = env

.addSource(kafka_consumer)

.map({x => new DeviceData(x.get("deviceId").toString,

x.get("sw_version").toString,

x.get("timestamp").toString,

x.get("reading").toString.toDouble,

x.get("new_field").toString)})

融合的kafka客户机负责按照模式反序列化avro字节流，包括默认值。设置模式注册表并使用融合的kafka客户机可能只需要一点时间来适应，但可能是更好的长期解决方案，仅需我的2美分。