Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
解决方法
代码中的spark版本依赖必须和集群spark版本一致 否则报如上错误。
我的服务器有两套不一样的spark集群版本因此命令有两个如下:
spark-submit \
--class com.picc.cn.Spark2Hdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
Spark2Hdfs.jar
spark2-submit \
--class com.picc.streaming.SparkStreamingToHdfs \
--master yarn \
--deploy-mode client \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 4g \
--executor-cores 2 \
SparkStreamingToHdfs.jar