spark启动master和slave时报错：org.apache.spark.deploy.master.Master --host localhost --port 7077 --webui-po

最新推荐文章于 2023-09-02 16:01:00 发布
最新推荐文章于 2023-09-02 16:01:00 发布
阅读量5.7k 收藏 8
点赞数 5
文章标签： spark spark启动错误 master slave hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Please_Forgive/article/details/100931888
版权
在尝试启动Spark集群时遇到错误，涉及Master和Slave节点无法正常通信。错误信息显示在启动过程中出现问题。通过查看系统日志，发现在`spark/logs`目录下的日志文件中有相关线索。问题最终通过在`spark/conf/spark-env.sh`配置文件中添加特定命令得到解决，随后成功启动Spark集群。
摘要由CSDN通过智能技术生成

总共三台服务器，一个master，两个slave，运行start-all.sh时报错，提示的错误信息如下：

failed to launch: nice -n 0 /home/zhanghaiping/spark-2.3.3/bin/spark-class org.apache.spark.deploy.master.Master --host localhost --port 7077 --webui-port 8080
  	at java.lang.Class.getMethod0(Class.java:3018)
  	at java.lang.Class.getMethod(Class.java:1784)
  	at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
  	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
  Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
  	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
  	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
  	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  	... 7 more
full log in /home/zhanghaiping/spark-2.3.3/logs/spark-root-org.apache.spark.deploy.master.Master-1-localhost.localdomain.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /home/zhanghaiping/spark-2.3.3/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
slave01: starting org.apache.spark.deploy.worker.Worker, logging to /home/zhanghaiping/spark-2.3.3/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave01.
最低0.47元/天 解锁文章
Please_Forgive
关注
spark学习-29-源代码解析从start-all.sh脚本开始
九师兄
09-11 1309
1。先总体看一下启动脚本 2。start-all.shif [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" fi# Load the Spark configuration . "${SPARK_HOME}/sbin/spark-config.sh"# Start Master "$
【Kylin4】【AWS】【EMR-5.33.0】 Aws云上部署Kylin4
mukvintt的博客
09-07 880
目录 Description Steps Prerequisite for EMR Cluster Create VPC Create Subnet and associated with VPC Which Created upon Create Internet Gateway​ Create Route Table​ Create Security Group Create Rds (Optional) Init Emr 5.33 CLI UI Install kyl...
【问题解决】Spark集群，通过master节点执行start-all.sh启动slave报错
nazhidao的专栏
04-17 6341
Spark集群，通过master节点执行start-all.sh启动slave报错：./sbin/start-all.sh所以最初我搭建完Spark集群后，一直是分别执行master和各slave的脚本来进行启动的：启动master：./sbin/start-master.sh -h 192.168.3.207 --host 192.168.3.207启动slave：/sbin/start-sla...
redis分布式锁问题解决
weixin_43126355的博客
02-26 1211
使用redis分布式锁报错信息如下： Caused by: io.lettuce.core.RedisCommandExecutionException: ERR unknown command 'UNLINK' at io.lettuce.core.ExceptionFactory.createExecutionException(ExceptionFactory.java:135) ~[lettuce-core-5.1.8.RELEASE.jar:na] at io.lettuce.core.Exc
启动spark报错failed to launch org.apache.spark.deploy.master.Master
practice
12-04 4308
今天遇到一个启动spark的错误，启动日志如下： [root@master spark-2.0.2]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /export/service/spark-2.0.2/logs/spark-root-org.apache.spark.deploy....
Spark的启动部分源码解析（org.apache.spark.deploy.master.Master，org.apache.spark.deploy.master.Worker）
大数据吧唧吧唧
09-28 555
Master 入口函数： // 启动 Master 的入口函数 def main(argStrings: Array[String]) { Utils.initDaemon(log) val conf = new SparkConf // 构建用于参数解析的实例 --host hadoop102 --port 7077 -...
hadoop2.7+spark2.4出现failed to launch: nice -n 0 --host master --port 7077 --webui-port 8080
juyuyh的博客
03-18 2115
在执行./start-all.sh出现 妈耶，花了我几个小时 starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark-2.4.7-bin-without-hadoop/logs/spark-centos7-gao-org.apache.spark.deploy.master.Master-1-master.out failed to launch: nice -n 0 /usr/local/spark-2.4.7
spark集群安装出现master: failed to launch: nice -n 0错误
weixin_40122615的博客
09-26 1953
spark集群启动之后出现如图所在红线的异常情况 解决方案：在配置文件中加入java jdk的安装路径重新启动spark集群即可。 # 在配置文件中加入java jdk的安装路径 vim ~/.bashrc export JAVA_HOME=/export/servers/jdk1.8.0_221 master主机的进程都正常启动 从机slave01,slave02的进程也都...
ubuntu 安装 spark 单节点伪集群 failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark
Masli的博客
05-12 1023
环境信息 ubuntu hadoop 3.3.1 spark 3.2.1 jdk 1.8.231 scala 2.12.15 问题描述 已经安装好单节点hadoop，并验证成功，可以访问，http://192.168.58.129:9870 1、安装spark单节点，启动报错，提示找不到一些class，如下 Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger 下载log4j-1.2.17.jar 和 slf4j-api-1.7.3
Spark启动失败：slave节点无法连接到master
机器学习，大数据
04-20 4989
1. 问题描述 启动spark时报错，使用start_all.sh或在slave节点上start_slave.sh都报相同的错。 报错信息如下： 19/04/20 04:35:49 INFO Utils: Successfully started service 'sparkWorker' on port 45265. 19/04/20 04:35:49 INFO Worker: Starti...
spark-core_12:org.apache.spark.deploy.master.Master源码解析4-- 如何清理超时的Woker及zk是如何选举
luyllyl的博客
03-26 310
承接上文，回到Master的onStart的方法体中     // masterWebUiUrl 值 http://luyl152:8080     masterWebUiUrl = "http://" + masterPublicAddress + ":" + webUi.boundPort     //启动定时器，定时发送信息，检查worker的状态     checkForWorkerTim...
启动spark集群时两个worker节点异常：failed to launch: nice -n 0 spark-class --webui-port 8081 spark://master:7077
one111a的博客
08-06 2352
之前出现这个错的时候，在网上google了好久，没解决，后来看到有人说在root用户下的 .bashrc下引入JAVA_HOME的路径，也有大佬说需要在/spark/sbin/spark-config.sh 加入JAVA_HOME的路径，我在/spark/sbin/spark-config.sh里加入JAVA_HOME的路径后，在运行就不报错了，可供参考 ...
spark-core_10: org.apache.spark.deploy.master.Master源码解析2--Master这个RpcEndPoint是如何初始化Master
luyllyl的博客
03-26 493
承接上文/**   * RpcEndpoint的生命周期又是: onStart -> receive(receiveAndReply)* -> onStop   * 这个MasterRpcEndpoint是线程安全的   */ private[deploy] class Master(     override val rpcEnv: RpcEnv,     address: RpcA...
failed to launch: nice -n 0 /home/hadoop/Apps/spark/bin/spark-class org.apache.spark.deploy.master.M
qq_39321513的博客
05-16 1527
[root@mamin sbin]# ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/Apps/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-mamin.out failed to launch: nice -n 0 /home/hadoop/Apps/spark/bin/spark-class org.a
Spark安装步骤及第一次启动failed to launch: nice -n 0错误
C_time的博客
08-22 1万+
基本条件:同步时间、免密登录、关闭防火墙、安装JDK1.8 在安装spark之前 emmm 我有三台虚拟机 hadoop01 hadoop02 hadoop03 然后jdk1.7 就是因为这个 我第一启动时failed to launch: nice -n 0错误 哦 对了 网上好多说配置 /root/.bashrc 文件 在后面加上 export JAVA_HOME= /usr/local/jd...
Spark启动的时候出现failed to launch: nice -n 0 /soft/spark/bin/spark-class org.apache.spark.deploy.worker
热门推荐
Maple的博客
06-21 1万+
不多bb，错误如图所示: 在网上搜了好多，大部分人说需要在root用户下的.bashrc配置JAVA_HOME，试过之后发现还是原来的错误；最后请教了大佬发现需要在/spark/sbin/spark-config.sh 加入JAVA_HOME的路径。 如图： 保存之后启动： ...
启动spark异常：failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark.deploy.work
wbt2388的博客
01-12 1万+
第一次启动spark出现异常：failed to launch: nice -n 0 /usr/local/spark/bin/spark-class 日志： starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-master-org.apache.spark.deploy.m...
Spark：failed to launch: nice -n 0 /opt/spark/bin/spark-class org.apache.spark.deploy.worker.
最新发布
Xiaoweidumpb
09-02 550
由于我是在k8s上运行，国内网络原因，编译镜像没编译进这个软件包，我启动时，添加下列命令。
spark中failed to launch: nice -n
DayOneMore的博客
03-14 1508
问题： failed to launch: nice -n 0 /home/xxx/spark/spark-3.0.2-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.master.Master --host 1xx.1x.xx.xx --port 7077 --webui-port 8080 反复检查spark-env.sh都没有错，最后发现是spark-defalut.conf中 spark.network.timeout设置的太小，之前是2
MySQL Master-Slave配置与常见问题解决
"MySQL Master-Slave Replication指南" MySQL Master-Slave复制是一种常见的数据库复制技术，它允许一个主数据库服务器（Master）将更改同步到一个或多个从属数据库服务器（Slaves）。这项技术在提高数据冗余、负载...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值