Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory

最新推荐文章于 2023-05-23 12:56:54 发布
最新推荐文章于 2023-05-23 12:56:54 发布
阅读量1w 收藏 17
点赞数 10
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812358/article/details/105981139
版权

Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory

Ubuntu下配置spark
首先，我通过ls 可以在下面发现确实有start-all.sh文件。

通过网上搜索说各种原因：
1、Hadoop下的配置文件里的java_home不对
我发现我是正确的
2、漏了spark/conf里那个env.sh的java_home
我正确
3、版本不兼容
我兼容
4、windows下把Spark进行了解压，里面的字符文件格式unix无法识别，造成找不到start-all.sh文件
我没有，我是把Spark压缩文件放到Ubuntu下解压
I’m OK

我最后找到了原因！
在用户主目录下的.bashrc配置文件，里面的SPARK_HOME写错了（丢人）

下面是我的.bashrc
在这里插入图片描述

Matakgo
关注
  • 10
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
spark中bin/start-all.sh执行后报错
kt906885821的博客
02-28 2238
[root@master spark-2.0.2-bin-hadoop2.7]# sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /root/servers/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy....
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
- 编辑`spark-env.sh`文件，这是Spark环境变量的配置文件。如果你的系统是Linux，可以使用`vi`或`nano`编辑器。 - 在文件中添加或修改以下两行，将内存大小改为你需要的值，例如这里设置为512MB： ``` export ...
spark启动脚本报告No such file or directory
微电子学与固体电子学-俞驰
05-06 3717
Laptop: bash: line 0: cd: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2: No such file or directory Laptop: bash: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/sbin/stop-...
启动spark集群
qq_44054827的博客
12-24 197
./zkmanager.sh start start-all.sh 进入/root/apps/spark-2.4.4-bin-hadoop2.7/sbin start-all.sh 浏览器进入 http://hdp-1:8080/ hdp-2 /root/apps/spark-2.4.4-bin-hadoop2.7/sbin ./start-master.sh hdp-3 /root/ap...
spark-sql写入对象存储路径不存在问题（异常路径自动消失）
赵英超的博客
05-23 1160
由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文件要么同时对外可见，要么同时对外不可见，即保证数据一致性同一 Task 可能因为 Speculation 而存在两个完全相同的 Task 实例写相同的数据到 HDFS中，如何保证只有一个 commit 成功对于大 Job（如具有几万甚至几十万 Task），如何高效管理所有文件V1 committer（即的值为 1），commit 过程如下Task 线程将 TaskAttempt 数据写入。
Spark学习笔记之-Spark Standalone（环境搭建）
dandykang的博客
09-11 1517
Spark standalone分为master和worker，具体启动方法可用手动启动或脚本启动集群。 官方参考手册：http://spark.apache.org/docs/1.4.0/spark-standalone.html 1、手动启动可以参考 ： http://www.th7.cn/Program/java/201309/148408.shtml 2、启动脚本方式：
Spark 1
sj天问的博客
12-01 483
Spark概述 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集
spark-2.4.0-bin-without-hadoop.tgz
06-18
"spark-2.4.0-bin-without-hadoop" 这个压缩包文件是专门为安装 Spark 2.4.0 而准备的，但需要注意的是，它不包含 Hadoop 相关依赖，这意味着你需要自己提供 Hadoop 配置或者在不依赖 Hadoop 的环境中使用。...
Anaconda3-2021.05-Linux-x86-64.sh
最新发布
02-13
标题中的"Anaconda3-2021.05-Linux-x86-64.sh"指的是Anaconda发行版的安装脚本，这是一个流行的Python数据科学平台，包含了Python、R和其他许多数据分析工具。2021.05是版本号，表明这是2021年5月发布的更新。Linux-...
org.mongodb.spark:mongo-spark-connector_2.11:1.1.0
11-30
mongodb-spark官方连接器，运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载，国内网络不容易下载成功，解压后保存到~/.ivy2目录下即可。
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
06-27
- 配置：根据环境修改conf目录下的配置文件，如`spark-defaults.conf`和`spark-env.sh`。 - 启动：启动Spark的Master和Worker节点，准备运行任务。 - 运行应用：使用Spark Shell或提交Spark应用程序到集群执行。 ...
Hadoop集群--(4)spark搭建
周凡的博客
06-11 227
准备 需要hadoop集群，如不会搭建的请参考Hadoop集群–(1)搭建 1. scala安装 scala官网下载地址 移到网页最下面，选择自己的版本下载，然后上传到服务器 或直接下载 wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz 解压 tar zxf scala-2.12.8.tgz -C /root/...
./startup.sh: /bin/sh^M: bad interpreter: 没有那个文件或目录 解决办法
热门推荐
bruce128的专栏
01-10 1万+
把windows下的tomcat7.0.27.zip上传到linux上之后，执行./startup.sh，这个错：     ./startup.sh: /bin/sh^M: bad interpreter: 没有那个文件或目录 解决办法     执行vim startup.sh,输入:set ff?，发现文件格式是dos，果断执行再输入:set ff=unix，然后保存一下。但是光该这个文件是
./start.sh: /bin/bash^M: 解释器错误: 没有那个文件或目录
weixin_40404400的博客
03-12 1005
./start.sh: /bin/bash^M: 解释器错误: 没有那个文件或目录
Spark- Linux下安装Spark
weixin_34355715的博客
08-29 69
Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark-1.6.1-hadoop2.6.tgz /usr/spark-1.6.1-hadoop2.6 3.在/u...
hadoop:start-all.sh 启动时出错
汐 朔
02-05 9945
测试版本：hadoop0.20.2 [hadoop@Master ~]$ start-all.sh starting namenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out /usr/hadoop/bin/hadoop-daemon.sh: line 117: /us
ls: 无法访问/opt/module/spark-2.4.7-bin/lib/spark-assembly-*.jar: 没有那个文件或目录
窦永厚
03-11 434
ls: 无法访问/opt/module/spark-2.4.7-bin/lib/spark-assembly-*.jar: 没有那个文件或目录 vim hive 将/lib/spark-assembly-*.jar`替换成/jars/spark-*.jar`，就不会出现这样的问题 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/spark-*.jar`
Hive报错:"/spark//lib/spark-assembly-*.jar: No such file or directory"
极致|专业
01-12 2895
问题重现 安装玩spark集群后,启动hive,报了错误: /spark//lib/spark-assembly-*.jar: No such file or directory 问题原因 新版本的spark,hive没有及时支持更新. 问题解决 // 修改hive的启动脚本 vim hive/bin/hive +116 // 定位到位置,上面一行是原有的,下一行是修改的
./start-all.sh:行32: /opt/module/spark-local/sbin/start-master.sh: 权限不够 ./start-all.sh:行35: /opt/module/spark-local/sbin/start-slaves.sh: 权限不够 怎么办
06-08
这个问题通常是因为您没有执行 `start-master.sh` 和 `start-slaves.sh` 脚本的权限。您可以使用以下命令来授予这两个脚本执行权限： ``` chmod +x /opt/module/spark-local/sbin/start-master.sh chmod +x /opt/module/spark-local/sbin/start-slaves.sh ``` 该命令会添加执行权限，允许您执行这两个脚本。然后，您可以再次尝试运行 `start-all.sh` 脚本： ``` ./start-all.sh ``` 如果您仍然无法执行这两个脚本，可能是因为您没有足够的权限来启动其中的某些服务。在这种情况下，您可以尝试以管理员身份运行 `start-all.sh` 脚本，或者使用 `sudo` 命令来提升权限。例如： ``` sudo ./start-all.sh ``` 希望这些提示可以帮助您解决问题！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值