spark程序用local模式测试通过后,打包后以yarn cluster 模式spark-submit到集群中
spark-submit --jars /root/json-simple-1.1.1.jar --class com.nebula.app.ml.FeatureAccumulator --master yarn --deploy-mode cluster /root/accumulator.jar
结果出现
Unsupported major.minor version 52.0
这一看就是java版本不一致导致的啊。再三确认了开发环境是jdk8, spark运行环境也是jdk8. 非常奇怪!最好在命令行中直接指定jdk,终于运行起来了。
spark-submit --conf "spark.executorEnv.JAVA_HOME=/usr/java/latest" --conf "spark.yarn.appMasterEnv.JAVA_HOME=/usr/java/latest" --jars /root/json-simple-1.1.1.jar --class com.nebula.app.ml.FeatureAccumulator --master yarn --deploy-mode cluster /root/accumulator.jar
具体原因还需调查