安装spark，命令行输入spark-shell，返回找不到指定的路径，解决

最新推荐文章于 2022-08-07 11:10:20 发布
最新推荐文章于 2022-08-07 11:10:20 发布
阅读量5.4k 收藏 8
点赞数 4
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Remmine/article/details/116567630
版权

第一次装pyspark，在装完jdk，pyspark，hadoop和winutils之后在cmd中输入spark-shell来测试spark安装，返回了找不到指定的路径。

试了些可能的错误最后找到了问题。

这是spark-shell文件：

用到的是环境变量里的SPARK_HOME，所以即便path里面用的全路径也要创建SPARK_HOME变量。

然后JAVA_HOME和SPARK_HOME都要创建在用户环境变量，一开始我创建在了系统环境变量，这是我遇到找不到路径的原因。

别的可能的原因：

1. 路径里有空格

2. JAVA_HOME和SPARK_HOME里面包含了bin，应该停止在bin的上一级

三回啊三回
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
安装spark时输入spark-shell报错 “系统找不到指定的路径“
xfysq_的博客
12-16 3070
安装spark时输入spark-shell报错 “系统找不到指定的路径“
spark-acid:基于Hive ACID的Apache Spark的ACID数据源
03-14
适用于Apache Spark的Hive ACID数据源 一个基于Spark Datasource V1 API的数据源，为提供Spark支持。 此数据源提供了与Hive ACID V2表，完全ACID表以及仅插入表一起使用的功能。 功能可用性矩阵 功能性 完整的ACID表 仅插入表格 读 >= v0.4.0 >= v0.4.0 插入/覆盖 >= v0.4.3 >= v0.4.4 CTAS >= v0.4.3 >= v0.4.4 更新 >= v0.5.0 不支持 删除 >= v0.5.0 不支持 合并 > v0.5.0 不支持 流插入 >= v0.5.0 >= v0.5.0 注意：如果仅插入表以支持写操作，则需要禁用兼容性检查 快速开始 快速开始 先决条件 这些是使用此库的先决条件： 您具有版本3.1.2或更高版本的Hive Metastore DB。 有关详
docker-mesos-spark-shell:用于在Mesos集群上创建Spark Shell的Docker映像
05-09
Mesos Spark Shell 用于在Mesos集群上创建Spark 1.4.1 shell的docker镜像。 目前，通过.deb安装程序支持Mesos 0.23.0。 跑步 要查看如何运行Docker映像，请查看run_spark_shell.sh文件。 基本上，您只需要用Mesos Master所在的实际IP替换MESOS_MASTER_IP ，并且SPARK_EXECUTOR_URI变量需要指向“ Spark程序包”，Spark二进制文件可访问，供Mesos Slaves执行器下载，请参见 。 例子： docker run -i -t \ --net=host \ -e MESOS_MASTER=127.0.0.1:5050 \ -e SPARK_LOCAL_IP=127.0.0.1 \ -e SPARK_EXECUTOR_URI=http
apache-spark-internals:Apache Spark的内部
04-22
Apache Spark在线图书的内部知识 该项目包含《 在线书的来源。 工具 该项目基于或使用以下工具： 致力于成为一个快速，简单，彻头彻尾的华丽静态站点生成器，旨在生成项目文档 主题的（具有“功能） 作为Markdown编辑器 （带有额外的插件和扩展） 预览书 自定义Docker映像 该项目使用自定义Docker映像（基于映像），因为官方Docker映像仅仅包含几个插件。 使用以下命令构建自定义Docker映像： docker build \ -t jaceklaskowski/mkdocs-material-insiders \ -t jaceklaskowski/mkdocs-material-insiders:6.2.3-insiders-1.15.0 \ . 建筑书 运行以下命令来构建这本书。 docker run \ -it \ -p 800
spark-2.0.0-bin-hadoop2.6.tgz
11-13
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
Spark-shell批量命令执行脚本的方法
01-10
批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF import org.apache.spark.sql.SaveMode sql(set hive.exec.dynamic.partition=true
spark-sql: command not found 问题解决
aruewds的博客
08-07 1984
发现SPARK_HOME和PATH已经配置了，但是仍然出现该问题。
spark-shell系统找不到指定的路径的一些解决办法
qq_43750466的博客
04-06 3583
spark-shell系统找不到指定的路径的一些解决办法 一.jdk安装地址有问题 1.在cmd输入下查看自己Java地址 java -verbose 最后两行可以看到安装路径为：（这里我已经改为正确的了） 2.默认地址在C:\progrgram Files\Java… spark规定安装路径不能有空格，我们需要把安装路径改掉，保证没有空格出现 二.系统路径有问题 系统路径中输入安装路径是不要带\bin目录，如G:\java_jdk(你自己的安装地址）然后再%JAVA_HOME%后加bin 如%JAVA_
【已解决】java spark安装好提示 系统找不到指定的路径 或 不是内部或外部命令，也不是可运行的程序或批处理文件
weixin_45941945的博客
11-30 3221
写在前面 具体安装流程可以参考： Spark在Windows下的环境搭建 以及python+pycharm+pyspark+windows搭建spark环境+各种踩坑 我的问题 已安装spark、jdk、hadoop、scala，java、scala、hadoop都能通过cmd打开，但是始终无法成功打开spark-shell 寻找问题 我的JAVA_HOME、SPARK_HOME都是自定义的，结尾有一个分号之前一直也没觉得有什么问题。 而且我在cmd打java是可以正确显示的，所以我一直以为我的JAVA_
Win10 + spark +hadoop spark-shell 系统找不到指定的路径
Jason_yyz的博客
04-30 8102
关于安装其他教程已经说得很清楚了这里推荐几个：https://my.oschina.net/u/3350450/blog/1621492https://blog.csdn.net/w417950004/article/details/77203501这里讲一个遇到的问题吧，找了很久才找到解决方案问题如下：在cmd下输入spark-shell命令时，总是显示系统找不到指定的路径但是我明明已经把路径添...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
bash-shell-to-bat-converter：bash shell脚本到Windows批处理文件的转换器
01-31
简单的Bash脚本到Windows批处理文件转换器 将bash脚本（ *.sh ）转换为Windows批处理文件（ *.bat ）。 这不应该是一个完全完整/正确的工具，而是转换脚本时的起点。 对于简单的脚本，这可能会创建正确的结果。 在线尝试： : 用法 建立： git clone https://github.com/daniel-sc/bash-shell-to-bat-converter.git cd bash-shell-to-bat-converter npm install npm run tsc 用法： node lib/cli.js FILE_TO_CONVERT.sh 这将创建FILE_TO_CONVERT.bat 。 有助于 随时欢迎公关人员;-)
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
docker-spark-ipython:带有 ipython 的 spark docker 图像
06-30
#spark-ipython ##这是什么图？ 此图像包含单节点配置中的 spark（来自 sequenceiq/docker-spark），ipython notebook。 ##如何使用这张图片？ docker run -d --name spark-ipython -p 8888:8888 logbase/spark-ipython 要为 ipython 存储挂载主机驱动器： docker run -d --name ispark-ipython -p 8888:8888 -v <path>:/ipython logbase/spark-ipython 要访问容器的 shell 以将文件加载到 hdfs： docker exec -it spark-ipython /bin/bash 在容器内部，使用 hdfs/hadoop cmd 将文件加载到 hdfs。
spark-3.0.0-bin-hadoop3.2
02-17
spark-3.0.0-bin-hadoop3.2下载安装包
spark-2.1.0-bin-without-hadoop版本的压缩包，直接下载到本地解压后即可使用
07-02
在Ubuntu里安装spark，spark-2.1.0-bin-without-hadoop该版本直接下载到本地后解压即可使用。 Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模...
启动spark-shell后出现not found错误
热门推荐
PanPan的专栏
10-09 1万+
我曾遇到了类似于这样的问题： error:not found:value sqlContext error:not found:value sc 解决方案： 1.查看ifconfig，看ip地址是否和你在/etc/hosts中的ip地址一致，如果不一致，请修改/etc/hosts中的ip地址。 2.查看spark-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中
关于win10上命令框spark-shell或者pyspark提示:系统找不到指定的路径解决办法
weixin_45447648的博客
05-24 2536
项目场景： win10安装spark+scala 问题描述： scala安装成功 但是在输入saprk-shell或者pyspark时出现问题,提示系统找不到指定的路径. 原因分析： 有些软件(如SPSS)会自动安装Java,并且写入了环境变量,而且优先级还高(就离谱) 解决方案： 1.确保python的版本在3.7.4以下,推荐直接从清华镜像安装Anaconda3-2019.07-Windows-x86_64.exe 2.确保自己的环境变量无误,尤其注意JAVA_HOM...
spark-shell找不到路径
06-28
### 回答1： 这个问题可能是由于以下原因导致的： 1. 您输入的路径不正确，需要检查路径是否正确。 2. 您没有正确设置环境变量，需要检查环境变量是否正确设置。 3. 您的文件系统权限不足，需要检查您是否有足够的权限访问该路径。 您可以尝试以下解决方案： 1. 检查您输入的路径是否正确。 2. 检查您的环境变量是否正确设置。 3. 检查您的文件系统权限是否足够。 如果以上解决方案无法解决问题，请提供更多详细信息，以便我们更好地帮助您解决问题。 ### 回答2： 在使用spark-shell时，如果出现了“找不到路径”的错误，可以考虑以下几个方面： 1.检查路径是否正确 首先，需要确认路径是否正确。spark-shell是通过Hadoop来读取和写入数据的，因此需要使用Hadoop支持的路径格式。常见的格式包括： hdfs://hostname:port/path/to/file file:///path/to/file 如果使用的是hdfs路径，则需要确保Hadoop集群的节点已经启动，并且hostname和port是正确的。如果使用的是file路径，则需要确保本地磁盘上的路径是存在的。 2.设置环境变量 其次，需要在环境变量中设置HADOOP_HOME和SPARK_HOME。这两个变量修订了Hadoop和Spark的安装目录。如果没有正确设置，spark-shell就可能无法找到相应的jar包，导致找不到路径的错误。 3.确认文件权限 还需要确认文件的权限是否正确。如果文件所在的目录不允许用户访问，则spark-shell就无法读取该文件。可以通过使用hadoop fs -ls命令来列出目录下的文件和文件夹，确认权限是否正确。 4.检查网络连接 最后，还需要检查网络连接是否畅通。如果spark-shell无法连接到Hadoop集群，则可能导致找不到路径的错误。可以通过ping命令测试两台机器之间的连接情况。 综上所述，如果spark-shell找不到路径，需要先确认路径是否正确，设置好环境变量，确认文件权限是否正确，最后检查网络连接是否畅通。如果以上方法均无效，则有可能是系统环境或配置文件发生了错误，需要重新安装或配置。 ### 回答3： 如果你正在使用Spark-Shell，却发现无法找到路径，可能需要检查以下几个可能的原因： 1. 相对路径错误 如果你使用了相对路径，可能需要检查当前路径是否正确。相对路径是相对于当前目录的路径，如果当前目录不正确，Spark-Shell将无法找到你要的文件或目录。 2. 文件或目录不存在 确保你要访问的文件或目录确实存在。如果文件或目录不存在，Spark-Shell将无法找到它们。 3. 权限不足 如果你要访问的文件或目录需要特定的权限，Spark-Shell可能会因为权限不足而无法找到它们。如果这是问题的根本原因，你可能需要修改文件或目录的权限或者使用特权用户来启动Spark-Shell。 4. 路径包含特殊字符 如果你的路径包含特殊字符，例如空格、#、$等，可能需要在路径中使用引号或者转义字符。否则，Spark-Shell可能无法正确解析路径。 5. 环境变量设置不正确 如果Spark-Shell无法找到你想要的路径，可能是因为你没有正确设置环境变量。在安装Spark时，可能需要设置一些环境变量，例如$SPARK_HOME、$JAVA_HOME等，你需要确保这些环境变量设置正确。 总之，以上是可能导致Spark-Shell无法找到路径的几个原因。如果你遇到了问题，可以先检查这些方面，希望能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值