Spark的疑难杂症
问题描述:
按照尚硅谷的视频,安装好spark后,跑示例代码:
bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.0.jar 100
注意,这里不能分行,之前的博客有写过原因。
上述代码执行完毕,spark的安装目录会变成:
多了红圈的三个东西。
如果这个时候不做任何处理,在spark目录下执行如下代码:
bin/spark-shell
会得到如下结果:
就离谱,各种google,反正就解决不了我的问题。
然后,我尝试着把三个红圈的东西给删了,在跑一次如下代码:
bin/spark-shell
得到了如下结果:
注意对比下成功和失败的区别。
就离谱,为什么这样就可以了?
有懂的带哥指点下?
根本问题不在这,之前进入scala环境后,退出环境用的组合键是CTRL+C(习惯了),结果问题就出在了,退出scala shell环境要用CTRL+D,
Sorry, I had to ask you to be sure 😃 Because you may have already Standalone server or some streaming job in the background. When exiting Spark-shell, please do Ctrl+D, it will close shell in proper way. Do restart and try in this way 😃
参考链接:https://stackoverflow.com/questions/40995146/issue-while-opening-spark-shell
这样操作之后基本没问题了。
不过后续视频里面的yarn操作以及web UI操作都不行。
放弃看视频了,还是看书吧。