Mac电脑安装Zulu Open JDK 8 使用 spring-kafka 消费不到Kafka Partition中的消息

一、现象描述

使用Mac电脑本地启动spring-kakfa消费不到Kafka的消息，监控消费组的消息偏移量发现存在Lag的消息，但是本地客户端就是拉取不到，通过部署到公司k8s容器上消息却能正常消费！

本地启动的服务消费组监控

公司k8s容器服务消费组监控

二、环境信息

Spring Kafka版本： 2.1.13.RELEASE
Kafka Client版本： 1.0.2
Local JDK版本： Zulu 8.60.0.21-CA-macos-aarch64
K8s JDK版本： Oracle 1.8.0_202-b08

三、排查过程

• 猜测是JDK版本或者JDK 对 Apple Silicon芯片兼容问题

• Debug跟踪了KafkaConsumer poll过程，并没有发现任何异常，轮询拉取的线程正常循环执行，只是每次都拉取到 records 为0条。

• 决定调整kafka 日志级别看下心跳是否正常，居然发现了有异常抛出，看到是snappy相关类NotClassFound

SLF4J: Failed toString() invocation on an object of type [org.apache.kafka.common.protocol.types.Struct]
Reported exception:
java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy
	at org.xerial.snappy.SnappyInputStream.hasNextChunk(SnappyInputStream.java:435)
	at org.xerial.snappy.SnappyInputStream.read(SnappyInputStream.java:466)
	at java.io.DataInputStream.readByte(DataInputStream.java:265)
	at org.apache.kafka.common.utils.ByteUtils.readVarint(ByteUtils.java:168)
	at org.apache.kafka.common.record.DefaultRecord.readFrom(DefaultRecord.java:292)
	at org.apache.kafka.common.record.DefaultRecordBatch$1.readNext(DefaultRecordBatch.java:264)
	at org.apache.kafka.common.record.DefaultRecordBatch$RecordIterator.next(DefaultRecordBatch.java:563)
	at