【已解决】java spark安装好提示 系统找不到指定的路径 或 不是内部或外部命令,也不是可运行的程序或批处理文件

写在前面

具体安装流程可以参考:
Spark在Windows下的环境搭建
以及python+pycharm+pyspark+windows搭建spark环境+各种踩坑

我的问题

已安装spark、jdk、hadoop、scala,java、scala、hadoop都能通过cmd打开,但是始终无法成功打开spark-shell
在这里插入图片描述

寻找问题

我的JAVA_HOME、SPARK_HOME都是自定义的,结尾有一个分号之前一直也没觉得有什么问题。在这里插入图片描述在这里插入图片描述
而且我在cmd打java是可以正确显示的,所以我一直以为我的JAVA_HOME设置的是对的。直到我打javac无法显示,我才发现有问题
我仔细看了环境变量path的值,发现第一行有一个“C:\Program Files (x86)\Common Files\Oracle\Java”,而这个路径下是有java.exe的! 然后看这个修改日期我意识到这是我今天早上重新装的jdk自动加的路径。

在这里插入图片描述

在这里插入图片描述
也就是说,之前打java正确运行根本就不是走的我设置的JAVA_PATH,而是安装时自动设置的环境变量!
在我将这个自动加的变量去掉以后,果然,在cmd输入java也提示无法打开
在这里插入图片描述
所以,是JAVA_HOME的设置问题! 我仔细观察了JAVA_HOME与其他原有变量的区别,发现最大的区别就是多了个分号,于是我尝试将分号去掉,果然就成功了!
在这里插入图片描述
然后我就注意到原来只有JAVA_HOME和SPARK_HOME这两个变量我设置的时候加了分号,而HADOOP_HOME和SCALA_HOME我都没加(所以这两个运行正常)
于是立刻马上也把SPARK_HOME的末尾分号去掉,去除的方法如下:
在这里插入图片描述
在这里插入图片描述
然后就,成功啦!
在这里插入图片描述

一些tips

至此,我的环境安装终于结束了,因为一个小小的分号,我已经配了三天环境了…
有一些小点提醒正在配环境的人:

  • 使用pyspark还需要安装jdk、scala、hadoop
  • 注意以上这些软件的版本匹配,我建议跟着一篇博客然后全部照着他的装
  • 装老版本就行啦 不用追新
  • 注意jdk用的都是jdk8 版本太高好像会不兼容
  • hadoop 显示Please update D:\App\hadoop-3.2.2\etc\hadoop\hadoop-env.cmd DEPRECATED时很可能是你下载的源文件是需要修改的,参考hadoop 显示Please update D:\App\hadoop-3.2.2\etc\hadoop\hadoop-env.cmd DEPRECATED
    就这样,祝大家早日脱离苦海
  • 5
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark-submit是用于提交Spark应用程序命令行工具。它可以将打包好的Java或Scala程序提交到Spark集群上运行。在使用spark-submit运行Java程序时,可能会遇到以下问题: 1. 日志被覆盖:在程序中手动打印的日志常常会因为被下一个Job的执行日志覆盖而无法查看。为了解决这个问题,可以将运行日志重定向到文件中。可以使用以下命令spark-submit testSpark.jar > ~/testLog.out \[1\]。 2. 程序终止:一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序就会终止运行。为了解决这个问题,可以将Spark应用程序提交到集群上运行,而不是在本地运行。可以使用以下命令spark-submit --deploy-mode cluster testSpark.jar \[2\]。 另外,还有一些其他常见的问题,比如打包问题和配置文件问题。打包问题可以通过配置Gradle文件解决,确保将所有依赖项正确地打包到jar文件中。配置文件问题可以通过将配置文件打包到jar文件中,并在运行时将其解压到Spark的conf目录下来解决 \[3\]。 希望以上信息对您有所帮助。如果还有其他问题,请随时提问。 #### 引用[.reference_title] - *1* [后台运行spark-submit命令的方法](https://blog.csdn.net/blank1990/article/details/49929723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Spark集群中使用spark-submit提交jar任务包实战经验](https://blog.csdn.net/zrc199021/article/details/53999293)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [通过spark-submit运行java程序](https://blog.csdn.net/qbw2010/article/details/79272382)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值