spark中bin/start-all.sh执行后报错

最新推荐文章于 2023-03-23 19:59:04 发布
VIP文章 最新推荐文章于 2023-03-23 19:59:04 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kt906885821/article/details/88023622
版权 
[root@master spark-2.0.2-bin-hadoop2.7]# sbin/start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /root/servers/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
failed to launch org.apache.spark.deploy.master.Master:
  ========================================
  Error: Could not find or load main class master:2181,slave1:2181,slave2:2181
full log in /root/servers/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /root/servers/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /root/servers/spark-2.0.2-bin-hadoop2.7/logs/spar
最低0.47元/天 解锁文章
kt906885821
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
stream-processing-engine:这是使用Spark Streaming，Kafka和Elasticsearch进行实时流处理的示例
05-09
流处理引擎 这是使用Spark Streaming，Kafka和Elasticsearch进行近实时流处理的示例。 此项目的先决条件 Elasticsearch设置 i）Elasticsearch 6.3.0或最新版本并将其解压缩。 ii）运行以下命令。 $ bin/elasticsearch Kafka设置 i）Kafka-0.10.0.1或最新版本并解压缩。 ii）运行以下命令以启动Zookeeper和Kafka： $ bin/zookeeper-server-start.sh config/zookeeper.properties $ bin/kafka-server-start.sh config/server.properties 入门： 克隆并以本地模式运行： $ git clone [email protected]:techmonad/st
Spark学习笔记之-Spark Standalone（环境搭建）
dandykang的博客
09-11 1503
Spark standalone分为master和worker，具体启动方法可用手动启动或脚本启动集群。 官方参考手册：http://spark.apache.org/docs/1.4.0/spark-standalone.html 1、手动启动可以参考 ： http://www.th7.cn/Program/java/201309/148408.shtml 2、启动脚本方式：
spark-streaming-wordcount-on-nifi:nifi上的流媒体单词计数
05-06
快速开始 安装Apache nifi（来自 ） 安装Apache Spark（来自 ） 克隆此存储库并进行构建 $ git clone [email protected]:emethk/spark-streaming-wordcount-on-nifi.git $ cd spark-streaming-wordcount-on-nifi $ sbt assembly 将/path/to/nifi/conf/nifi.properties编辑为 ... nifi.remote.input.socket.host= nifi.remote.input.socket.port=8090 nifi.remote.input.secure=false ... 启动nifi $ /path/to/nifi/bin/nifi.sh start 在http://localhost:8080/nifi名为D
基于Spark电子商务推荐系统源码.zip
06-02
基于Spark电子商务推荐系统源码，。DataLoader 数据预处理模块 StatisticsRecommender 离线推荐模块 OfflineRecommender 基于隐语义模型的协同过滤推荐模块 OnlineRecommender 实时推荐模块 KafkaStreaming kafka 处理 ContentRecommender 基于内容的离线推荐系模块 businessServer 前端项目 使用说明 启动zookeeper ./bin/zkServer.sh start 启动kafka /bin/kafka-server-start.sh -daemon config/server.properties
dsgd_mf:Spark 上用于矩阵分解的分布式 SGD
06-12
10605 作业 7 Spark 上用于矩阵分解的分布式 SGD AWS 设置 在主人上： ./start-master.sh 关于奴隶： ./start-slave.sh org.apache.spark.deploy.worker.Worker spark://ip-172-31-44-204.ec2.internal:7077 用法 实验一： ./spark-submit --master spark://ip-172-31-44-204.ec2.internal:7077 /home/hadoop/spark/bin/dsgd_mf.py 20 10 100 0.6 0.1 hdfs://ip-172-31-44-204.ec2.internal:9000/nf_subsample.csv w.csv h.csv 2 > spark_dsgd.log 1 > eval_a
Hadoop集群--(4)spark搭建
周凡的博客
06-11 219
准备 需要hadoop集群，如不会搭建的请参考Hadoop集群–(1)搭建 1. scala安装 scala官网下载地址 移到网页最下面，选择自己的版本下载，然后上传到服务器 或直接下载 wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz 解压 tar zxf scala-2.12.8.tgz -C /root/...
Spark运行脚本 start-all.sh（standalone）
leofionn的博客
03-02 1374
#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional informat...
【问题解决】Spark集群，通过master节点执行start-all.sh启动slave报错
nazhidao的专栏
04-17 6075
Spark集群，通过master节点执行start-all.sh启动slave报错：./sbin/start-all.sh所以最初我搭建完Spark集群后，一直是分别执行master和各slave的脚本来进行启动的：启动master：./sbin/start-master.sh -h 192.168.3.207 --host 192.168.3.207启动slave：/sbin/start-sla...
spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter
iMatt的专栏
05-17 1580
错误原因： 没找到log4j相关类 导致没找到log4j的原因： 1、hadoop中含有log4j的JAR包 2、使用的是spark-3.1.3-bin-without-hadoop.tgz版本，需要手动指定hadoop的classpath。 解决方法： 打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径） export SPARK_DIST_CLASSPATH=$(/usr/soft/hado
Spark standalone模式部署
zhongmingyu
03-23 377
local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的master-slave 模式。
Spark、Hadoop大数据平台搭建.pdf
12-24
Spark、Hadoop⼤数据平台搭建 下载安装包 Spark 分布式计算 ，安装包⼤⼩：220M ⽀持Hadoop 2.7以后的版本 Scala Scala环境，Spark的开发语⾔ ，安装包⼤⼩：20M Hadoop 分布式存储（计算） ，安装包⼤⼩：209M Java Java环境 ，安装包⼤⼩：187M ZooKeeper 注册中⼼ ，安装包⼤⼩：36M 配置 ⾸先需要配置环境变量 环境变量 打开并编辑 ~/.bashrc ⽂件，在末尾添加以下内容： # java JAVA_HOME=/opt/jdk1.8.0_192 export PATH=$PATH:$JAVA_HOME/bin # hadoop HADOOP_HOME=/opt/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin # zookeeper ZOOKEEPER_HOME=/opt/zookeeper-3.4.13 export PATH=$PATH:$ZOOKEEPER_HOME/bin # scala SCALA_HOME=/opt/scala-2.12.8 export PATH=$PATH:$SCALA_HOME/bin # spark SPARK_HOME=/opt/spark-2.3.2-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin Host 这⾥需要设置Host，⼀个是Hadoop的Name-Node、Data-Node，⼀个spark的Master、Worker。 # hadoop 192.168.1.151 name-node 192.168.1.155 data-node-sa 192.168.1.156 data-node-sb 192.168.1.157 data-node-sc spark conf/slaves worker-sa worker-sb worker-sc 待补充 。。。 hadoop etc/hadoop/slaves data-node-sa data-node-sb data-node-sc Python3安装 安装pyspark cd /opt/spark-2.3.2-bin-hadoop2.7/python && python36 setup.py install 安装numpy pip3 install numpy -i https://pypi.mirrors.ustc.edu.cn/simple/ --trusted-host pypi.mirrors.ustc.edu.cn 启动&停⽌ hadoop sbin/start-all.sh sbin/stop-all.sh spark sbin/start-all.sh sbin/stop-all.sh 执⾏任务 提交任务 spark-submit --master spark://name-node:7077 --executor-memory 512m --total-executor-cores 2 client.py ⼏个管理页 Spark Hadoop 测试数据
spark-core_05: $SPARK_HOME/sbin/start-all.sh、start-master.sh脚本分析：
luyllyl的博客
03-16 981
一、这是$SPARK_HOME/sbin/start-all.sh脚本#!/usr/bin/envbash # Start all spark daemons. 后台启动所有spark节点，将master在这个节点中启动，worker节点是通过conf/slaver来决定的#Starts the master on this node.#Starts a worker on each node s...
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory
qq_35812358的博客
05-07 9746
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory 首先，我通过ls 可以在下面发现确实有start-all.sh文件。 通过网上搜索说各种原因： 1、Hadoop下的配置文件里的java_home不对 我发现我是正确的 2、漏了spark/conf里那个env.sh的java_home 我正确 3、版本不兼容 我兼容 4、wi...
spark学习-29-源代码解析从start-all.sh脚本开始
九师兄
09-11 1255
1。先总体看一下启动脚本 2。start-all.shif [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" fi# Load the Spark configuration . "${SPARK_HOME}/sbin/spark-config.sh"# Start Master "$
Spark Standalone 全分布模式安装及问题配置过程中常见问题
m0_61232019的博客
10-11 1361
Spark Standalone 劝分不模式：既真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（一个master和两个worker），需要三台主机，slave，slave1，slave2（slave是master节点，slave1，slave2是worker节点）。 一、前期准备 二、安装scala 三、安装spark 四、问题总结
spark 启动
hzdxw的专栏
06-11 2844
[root@name01 conf]# pwd /usr/local/spark/spark-1.4.0/conf [root@name01 conf]# ../sbin/start-dfs.sh bash: ../sbin/start-dfs.sh: No such file or directory [root@name01 conf]# ls docker.properties.templa
Spark 1
sj天问的博客
12-01 460
Spark概述 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集
启动spark报错failed to launch org.apache.spark.deploy.master.Master
practice
12-04 4105
今天遇到一个启动spark的错误，启动日志如下： [root@master spark-2.0.2]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /export/service/spark-2.0.2/logs/spark-root-org.apache.spark.deploy....
spark启动脚本报告No such file or directory
微电子学与固体电子学-俞驰
05-06 3639
Laptop: bash: line 0: cd: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2: No such file or directory Laptop: bash: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/sbin/stop-...
ls: cannot access '/usr/local/spark/lib/spark-assembly-*.jar': No such file or directory
最新发布
06-03
这个错误提示是因为在你运行了 `ls` 命令之后，发现 `/usr/local/spark/lib/` 目录下并没有 `spark-assembly-*.jar` 这个文件。你可以确认一下这个文件是否存在，或者是否路径是否正确。如果你确定这个文件不存在，那么你可能需要重新安装 Spark 或者检查你的路径是否正确。 在启动 Hive 时，你需要先启动 Spark，然后才能启动 Hive。你可以先尝试启动 Spark，然后再启动 Hive。在启动 Spark 时，需要设置 `SPARK_HOME` 环境变量，例如： ``` export SPARK_HOME=/usr/local/spark ``` 然后再启动 Spark： ``` $SPARK_HOME/sbin/start-all.sh ``` 启动成功后，再启动 Hive： ``` $HIVE_HOME/bin/hive ``` 这样应该就可以正常启动 Hive 了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值