kafka使用Apache Avro框架反序列化数据

本文是我对接大数据kafka队列时,使用Avro反序列化获取消息的教程。

Apache Avro

Apache Avro是一个基于二进制数据传输高性能的中间件。在传输的过程中Avro对数据二进制序列化后节约数据存储空间和网络传输带宽。 具体的可以去官网了解，这里就不赘述了。https://avro.apache.org/

依赖

        <!--kafka-->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
        <!--arvo-->
        <dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.9.0</version>
        </dependency>
        <!--kafka arvo的KafkaAvroDeserializer-->
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>kafka-avro-serializer</artifactId>
            <version>5.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/io.confluent/kafka-schema-registry -->
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>kafka-schema-registry</artifactId>
            <version>4.1.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/io.confluent/kafka-schema-registry-client -->
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>kafka-schema-registry-client</artifactId>
            <version>5.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/io.confluent/common-config -->
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>common-config</artifactId>
            <version>5.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/io.confluent/common-utils -->
        <dependency>
            <groupId>io.confluent</groupId>
            <artifactId>common-utils</artifactId>
            <version>5.3.0</version>
        </dependency>
     <!--使用arvo的KafkaAvroDeserializer-->
    <repositories>
        <repository>
            <id>confluent</id>
            <url>http://packages.confluent.io/maven/</url>
        </repository>
    </repositories>

配置

#kafka集群信息
kafka.consumer.bootstrap.servers=xxx
kafka.consumer.topic=xxx
kafka.consumer.group.id=xxx
#在使用Kafka的组管理时，用于检测消费者故障的超时
kafka.consumer.session.timeout.ms=30000
#并发处理kafka的消息，提高客户端的消费能力
kafka.consumer.concurrency=3
#使用kafka中提供的Avro序列化框架实现反序列化
kafka.consumer.key.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
kafka.consumer.value.deserializer=io.confluent.kafka.serializers.KafkaAvroDeserializer
#schema
kafka.consumer.schema.registry.url.key=schema.registry.url
kafka.consumer.schema.registry.url.value=xxxx
# 消费者的偏移量不自动提交
kafka.consumer.enable.auto.commit.hospinfo=false
kafka.consumer.auto.offset.reset.hospinfo=earliest

注意：

1. 上面的反序列化的方式，一定要和生产者的同事使用的序列化方式一致。
2. schema.registry.url要有，这个也找生产者那边的同事索要。
3. 以上配置，写到配置类里面就行了其他的不多说。

关键消费者代码

   */
    @KafkaListener(groupId = "#{'${kafka.consumer.group.id}'}", topics = "#{'${kafka.consumer.topic}'}", containerFactory = "KafkaListenerContainerFactory")
    @Transactional(rollbackFor = Exception.class)
    @Override
    public void onMessage(ConsumerRecord<String, GenericRecord> data, Acknowledgment acknowledgment) {
        log.info("data:{}", data);
        GenericRecord value = data.value();
        String valueStr = value.toString();
        JSON.parseObject(valueStr, XXX.class);
        //………………
        acknowledgment.acknowledge();