使用Kafka Avro序列化器将数据序列化为Avro格式并将其发送到Kafka topic

 

创建Kafka Avro序列化器：可以使用io.confluent.kafka.serializers.KafkaAvroSerializer类创建一个Kafka Avro序列化器实例。创建Kafka Avro序列化器时需要指定Schema Registry的URL

import org.apache.kafka.common.serialization.StringSerializer

import io.confluent.kafka.serializers.KafkaAvroSerializer

 

val schemaRegistryUrl = "http://localhost:8081"

val kafkaAvroSerializer = new KafkaAvroSerializer()

kafkaAvroSerializer.configure(Map("schema.registry.url" -> schemaRegistryUrl), false)

 

准备要序列化的数据：需要将要序列化的数据准备好。例如，下面是一个包含字符串键和Avro记录值的数据：

import org.apache.avro.Schema

import org.apache.avro.generic.GenericData

import org.apache.avro.generic.GenericRecord

 

val key = "key"

val valueSchemaStr = "{\"type\":\"record\",\"name\":\"User\",\"fields\":[{\"name\":\"name\",\"type\":\"string\"},{\"name\":\"age\",\"type\":\"int\"}]}"

val valueSchema = new Schema.Parser().parse(valueSchemaStr)

val value = new GenericData.Record(valueSchema)

value.put("name", "Alice")

value.put("age", 30)

 

 

序列化数据并将其发送到Kafka：可以使用kafkaAvroSerializer序列化数据并将其发送到Kafka主题中。

import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}

 

val topic = "my_topic"

val producerProperties = Map(

  "bootstrap.servers" -> "localhost:9092",

  "key.serializer" -> classOf[StringSerializer],

  "value.serializer" -> classOf[KafkaAvroSerializer]

)

 

val producer = new KafkaProducer[String, GenericRecord](producerProperties.asJava)

val record = new ProducerRecord[String, GenericRecord](topic, key, value)

producer.send(record)

 

上述代码中，key.serializer和value.serializer分别指定键和值的序列化器。在这种情况下，键使用默认的StringSerializer，而值使用Kafka Avro序列化器。