在Windows启动pyspark shell：Failed to find Spark jars directory. You need to build Spark before running ...

最新推荐文章于 2022-10-31 17:39:20 发布

weixin_30591551

最新推荐文章于 2022-10-31 17:39:20 发布

阅读量6.8k

点赞数 1

文章标签：大数据操作系统 shell

原文链接：http://www.cnblogs.com/144823836yj/p/11275408.html

版权

D:\Develop tools\spark-2.2.0-bin-hadoop2.7\bin>pyspark2.cmd

'tools\spark-2.2.0-bin-hadoop2.7\bin\..\jars""\' 不是内部或外部命令，也不是可运
行的程序
或批处理文件。
Failed to find Spark jars directory.
You need to build Spark before running this program.

错误原因：路径中含有空格（D:\Develop tools\spark-2.2.0-bin-hadoop2.7\bin的Develop tools中间有空格）

转载于:https://www.cnblogs.com/144823836yj/p/11275408.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30591551

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

spark-mllib_2.11-2.1.3-SNAPSHOT.jar

04-01

spark-mllib_2.11-2.1.3-SNAPSHOT.jars

Failed to find Spark jars directory. You need to build Spark before running this program.

孙不坚1208

06-13

1154

在执行spark-shell时出现报错： Failed to find Spark jars directory. You need to build Spark before running this program.

参与评论您还未登录，请先登录后发表或查看评论

在pycharm使用pyspark报错：Failed to find Spark jars directory. You need to build Spark before running

qq_41587397的博客

05-03

4271

具体报错：Failed to find Spark jars directory. You need to build Spark before running 解决办法：pycharm创建的项目文件夹路径不能有空格，改掉即可改成没有空格的项目名即可 ...

spark安装踩坑

Szcollar的博客

05-08

1887

spark安装踩坑 1.下载文件应当下载前三个，最后一个很小估计只有代码资源，该有的包都没有。于是直接运行bin/spark-shell 时会报错：Failed to find Spark jars directory (/opt/module/spark-3.1.1/assembly/target 2.JNI error 报错：A JNI error has occurred, please check your installation and try again 这种情况是由于*/opt/modu

Spark入门 - 2 Spark安装和集群部署

CMSurprise的博客

07-25

2886

安装Scala版本选择Spark官方对配套的Scala版本有规定，所以要根据自己的实际情况来选择Scala版本。因此首先去Spark官网下载Spark，再根据要求下载对应版本的Scala。在http://spark.apache.org/docs/1.6.2/中有一句提示：Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API

Linux安装Spark-详细步骤及常见报错

Data _designer

03-24

5013

目录一、前期环境配置 Hadoop单机环境搭建 Java环境搭建二、Spark安装及相关配置三、Hadoop及Spark安装报错一、前期环境配置 Hadoop单机环境搭建创建新用户hadoop sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增...

sparkjars.zip

07-10

sparkjars.zip

Spark及pyspark的操作应用.pdf

12-09

在本文中，我们将深入探讨Spark和PySpark的基础操作，包括Spark与Hadoop的交互、运行PySpark、开发Spark独立应用程序等方面。一、Spark与Hadoop的交互在使用Spark之前，通常需要确保Hadoop环境已经正确配置并...

jars-20221025.tar jars-20221025.tar

10-26

标题和描述中提到的"jars-20221025.tar"是一个压缩文件，通常在IT行业中，这种格式表示的是一个归档文件，使用了“tar”命令在Unix或Linux环境中创建。"tar"是tape archive的缩写，最初设计用于将文件备份到磁带中，...

Spark-3.1.2.tgz

04-16

1. **bin**：这个目录包含了Spark的各种可执行文件，如`spark-shell`（用于启动Spark的交互式Shell）、`pyspark`（Python版本的Shell）、`spark-submit`（用于提交Spark应用）等，以及相关配置脚本。 2. **lib**：...

Spark集群与应用.docx

最新发布

07-24

- **运行示例程序**: 使用`spark-submit`命令提交Spark作业，例如`bin/spark-submit --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.1.1.jar`。 #### 三、开发案例 ##### 1、...

SPARK安装

weixin_43271225的博客

03-18

355

首先是结论：最终我没能在win10上运行起来spark，官方给的quickstart : http://spark.apache.org/docs/latest/api/python/getting_started/quickstart.html#DataFrame-Creation 在jupyter notebook 里运行各报错。最终还是在centos7 虚拟机里运行起来了spark, 安装简单方便不用配环境。下面是在win10安装spark的时候遇到的各种坑：本来以为pip install py

Spark的常见问题

则为你如花美眷，似水流年

03-13

3098

最近在研究spark，遇到问题就记录一下，版本号是spark-0.9.0-incubating-bin-hadoop1 1.使用sbt assembly编译之后使用run-example出现如下错误 bin/run-example: line 47: [: /home/cookies/Downloads/spark-0.9.0-incubating-bin-hadoop1/examples

build spark

diwu20060107的博客

02-27

597

Error : Failed to find Spark jars directory (/home/pl62716/spark-2.2.0-SNAPSHOT/assembly/target/scala-2.10/jars).You need to build Spark with the target "package" before running this program. ...

Spark2.3 最新源码阅读 - spark启动脚本

loveyy的博客

07-17

842

最近一直在看源码方面的东西，发现关于spark2.3的源码解读还是比较少，索性自己试着写写。首先就从脚本阅读开始，希望能做到每天看一点，收获一点脚本核心主要有:spark-shell spark-submit spark-class load-spark-env find-spark-home。位于源码 spark/bin下面 spark-shell 主要功能：判断系统环境开启p...

spark-submit源码解析

cclovezbf的博客

10-31

541

简化为 /data/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"exec $LIB_DIR/spark/bin/spark-submit "$@" --再次把参数传递给另外一个spark-submit。${CLOUERA_HOME}/spark/jars/*: --这里就有我们上面提到的proto jar。

解决 “python 不是内部或外部命令，也不是可运行的程序或批处理文件”的问题

热门推荐

m0_51772191的博客

04-29

4万+

问题描述：打开cmd之后，输入python，显示“python 不是内部或外部命令，也不是可运行的程序或批处理文件”，这表明是python的环境变量没有配好。解决方法： 1.找到已经安装好的python所在目录，复制该路径。 2.在电脑设置页面→系统→滚轮下滑，找到关于→高级系统设置→环境变量→找到path→双击打开之后，点击新建，把第一步中复制的路径粘贴进去→接着一路点击确定。结果：成功解决问题。 ...

spark安装使用及编程和问题解决

weixin_43952095的博客

05-29

2052

1、安装spark（Hadoop、JAVA JDK已安装）命令如下： sudo tar -zxf /home/ra/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-1.6.2-bin-without-hadoop/ ./spark sudo chown -R ra:ra ./spark...

Spark学习之路（十六）SparkCore的源码解读（二）spark-submit提交脚本

微信搜：import_bigdata，大数据领域硬核原创作者

02-12

446

spark-shell报错：Failed to find Spark jars directory. You need to build Spark before running this program.

07-16

您好！对于这个报错信息，可能是因为您在运行 spark-shell 命令之前没有正确构建 Spark。请按照以下步骤进行操作： 1. 确保您已经正确安装了 Spark，并且设置了 SPARK_HOME 环境变量。您可以通过运行 `echo $SPARK_HOME` 来检查环境变量是否正确设置。 2. 确认您已经在正确的目录下运行了 spark-shell 命令。通常情况下，应该在 Spark 的安装目录下执行该命令。 3. 如果您已经正确设置了 SPARK_HOME 环境变量，但是仍然遇到这个问题，可能是由于缺少必要的 Spark JAR 文件。您可以尝试重新构建 Spark，或者从 Spark 的官方网站下载已编译的二进制版本。如果您还有其他问题，请随时提问！