![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 72
Dennis985
这个作者很懒,什么都没留下…
展开
-
Spark任务提交时报错bad substitution
Spark任务提交时报错bad substitution问题描述在集群中使用spark-submit提交spark任务时,报错Exception message: /hadoop/yarn/local/usercache/qxadmin/appcache/application_1631068541144_0002/container_e10_1631068541144_0002_01_000001/launch_container.sh:行22: PWD:PWD:PWD:PWD/spark_con原创 2022-04-28 12:34:51 · 544 阅读 · 0 评论 -
Spark自带example
Spark自带examples案例1.SparkPi在SPARK_HOME目录下运行如下命令:bin/run-example org.apache.spark.examples.SparkPi结果如下图所示:到此,案例成功运行,运行结果为:Pi is roughly 3.14021570107850552.others其他案例也是类似,注意两个问题:必须是run-example命令。确定类名。类名可以在SPARK_HOME目录下的examples/src/main/scala/原创 2022-04-28 11:59:18 · 3541 阅读 · 2 评论