解决Spark on YARN时大量jar乱飞的情况
问题重现
运行以下这个作业
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
/opt/app/spark-2.4.5-bin-2.6.0-cdh5.16.2/examples/jars/spark-examples_2.12-2.4.5.jar ...
原创
2020-05-03 12:22:05 ·
498 阅读 ·
0 评论