Spark on Yarn开发运维过程中遇到的问题汇总
启动
nodemanager报错 No space left on device使用
df -h命令判断nodemanager运行日志和启动日志磁盘空间是否足够。使用pyspark读取kafka对应topic数据报错java.lang.NoClassDefFoundError: org/apache/kafka/common/message/KafkaLZ4BlockOutputStream
更改之前
./bin/spark-submit –jars lib/spark-streaming-kafka_2.10-1.6.1.jar,lib/kafka_2.10-0.8.2.1.jar,lib/metrics-core-2.2.0.jar –deploy-mode client ./project/stream.py
更改之后
./bin/spark-submit –jars lib/spark-streaming-kafka_2.10-1.6.1.jar,lib/kafka_2.10-0.8.2.1.jar,lib/metrics-core-2.2.0.jar,lib/kafka-clients-0.8.2.1.jar –deploy-mode client ./project/stream.py
本文汇总了SparkonYarn开发运维中常见的问题,包括nodemanager启动时报错磁盘空间不足及使用pyspark读取Kafka数据时出现的NoClassDefFoundError错误。针对这些问题提供了具体的解决办法。

被折叠的 条评论
为什么被折叠?



