Kafka问题总结

1. 消费者无法接受消息进行消费

• 1、首先检查生产者是否正常发送消息
  在linux启动消费者

  bin/kafka-console-consumer.sh –zookeeper 192.168.6.56:2181 –topic test1 –from-beginning
  如果生产者发送了消息，此时Linux开启的消费者能够消费消息，说明生产者没有问题

• 2、检查生产者和消费者的topic配置
  生产者：
  defaultTopic的配置 或 发送时指定的topic
  消费者：

<!-- 消费者容器配置信息 -->
    <bean id="containerProperties" class="org.springframework.kafka.listener.config.ContainerProperties">
        <!-- 重要！配置topic -->
        <constructor-arg value="test1"/>
        <property name="messageListener" ref="messageListernerConsumerService"/>
    </bean>

一般都是上面两个问题

2. Kafka启动时异常

一 、启动时内存不足

## There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
# An error report file with more information is saved as:
# //hs_err_pid6500.logOpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000bad30000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
==========================================================

原因：kafka启动脚本kafka-server-start.sh中指定了kafka启动时需要的最小内存，默认为1G
export KAFKA_HEAP_OPTS=”-Xmx1G -Xms1G”
虚拟机分配的虚拟内存在1G以下时就会出现该错误。

解决方法:修改脚本kafka-server-start.sh中的最小启动内存，设置为较小值。

二 启动时出现oom

[ FATAL ] Fatal error during KafkaServerStable startup. Prepare to shutdown
 Java.lang.OutOfMemoryError: java heap space
        at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57)
        at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
        at kafka.log.SkimpyOffsetMap.(OffsetMap.Scala:42)
..........
==========================================================

原因：kafka启动时分配的内存过小导致
解决方法：同样脚本kafka-server-start.sh中的最小启动内存，设置为较大值。