CDH5.15.1常见问题及解决

最新推荐文章于 2024-03-25 22:02:32 发布

Duncan.QS

最新推荐文章于 2024-03-25 22:02:32 发布

阅读量619

点赞数

文章标签： kafka spark cloudera

本文链接：https://blog.csdn.net/Karamay_0990/article/details/107381327

版权

本文介绍了CDH5.15.1集群中遇到的问题及解决方案，包括Kafka版本升级后brokerid不一致的处理，HDFS权限错误（Permission denied）的解决方法，以及SparkStreaming与Kafka版本不匹配的调整步骤。

摘要由CSDN通过智能技术生成

问题1：之前CDH集群安装过kafka，版本问题需要重新安装，导致现在的brokerid和之前的不一致。

Fatal error during KafkaServer startup. Prepare to shutdown
kafka.common.InconsistentBrokerIdException: Configured broker.id 477 doesn't match stored broker.id 472 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).
    at kafka.server.KafkaServer.getBrokerIdAndOfflineDirs(KafkaServer.scala:624)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:201)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:43)
    at kafka.Kafka$.main(Kafka.scala:92)
    at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76)
    at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala)

解决：
1.1查看log.dirs所在位置在kafka配置界面搜索 Data Directories
找到对应路径 /var/local/kafka/data

1.2.按着这个路径找到 meta.p