Spark error not found

Spark的疑难杂症

问题描述:
按照尚硅谷的视频,安装好spark后,跑示例代码:

bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.0.jar 100

注意,这里不能分行,之前的博客有写过原因。
上述代码执行完毕,spark的安装目录会变成:
在这里插入图片描述
多了红圈的三个东西。
如果这个时候不做任何处理,在spark目录下执行如下代码:

bin/spark-shell

会得到如下结果:
在这里插入图片描述
就离谱,各种google,反正就解决不了我的问题。
然后,我尝试着把三个红圈的东西给删了,在跑一次如下代码:

bin/spark-shell

得到了如下结果:
在这里插入图片描述
注意对比下成功和失败的区别。
就离谱,为什么这样就可以了?
有懂的带哥指点下?

根本问题不在这,之前进入scala环境后,退出环境用的组合键是CTRL+C(习惯了),结果问题就出在了,退出scala shell环境要用CTRL+D,

Sorry, I had to ask you to be sure 😃 Because you may have already Standalone server or some streaming job in the background. When exiting Spark-shell, please do Ctrl+D, it will close shell in proper way. Do restart and try in this way 😃

参考链接:https://stackoverflow.com/questions/40995146/issue-while-opening-spark-shell
这样操作之后基本没问题了。
不过后续视频里面的yarn操作以及web UI操作都不行。
放弃看视频了,还是看书吧。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值