部署Spark不常见问题

最新推荐文章于 2022-05-06 15:30:53 发布
最新推荐文章于 2022-05-06 15:30:53 发布
阅读量4.7k 收藏
点赞数
分类专栏： spark 文章标签： spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sheyuedeye/article/details/43226297
版权

最近在学习Spark，在公司搭建了一个小的Spark集群环境。具体的安装部署步骤网上有很多，我就不再赘述了。下面说一个不常见的问题。

首先，我默认你能部署Spark环境直到正常启动之后能在web-ui里看到下图


当然，Applications是没有在running的，Memory也没有使用。总之，就是一切看起来都很正常的样子。

然后，切回term，执行

spark-shell --master spark://hadoop:7078

你会看到不断的冒出下图的错误



我观察了一下SPARK_HOME/logs 夹子下的spark**worker**.out日志。看到如下的错误日志：

14/12/26 17:42:33 ERROR ExecutorRunner: Error running executo
最低0.47元/天 解锁文章
yoruichi_7
关注
专栏目录
spark启动脚本报告No such file or directory
微电子学与固体电子学-俞驰
05-06 3754
Laptop: bash: line 0: cd: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2: No such file or directory Laptop: bash: /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/sbin/stop-...
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory
qq_35812358的博客
05-07 1万+
Spark 启动文件start-all.sh 报错：没有找到文件目录No such file or directory 首先，我通过ls 可以在下面发现确实有start-all.sh文件。 通过网上搜索说各种原因： 1、Hadoop下的配置文件里的java_home不对 我发现我是正确的 2、漏了spark/conf里那个env.sh的java_home 我正确 3、版本不兼容 我兼容 4、wi...
Spark:Container exited with a non-zero exit code 137
u014407873的博客
05-06 6984
最近公司用户量暴涨，老板笑嘻嘻，但是搬砖的心里MMP，服务器压力骤然上升，最近大数据集群在跑spark任务时老是报“Container exited with a non-zero exit code 137”这样的错误，详细日志如下： 22/04/29 11:02:27 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Requesting driver to remove executor 4 for reason Container marked a
java spark on yarn_Spark on yarn上遇到的问题
weixin_42184548的博客
02-24 185
最近在Yarn上使用 Application application_1434099279301_123706 failed 2 times due to AM Container for appattempt_1434099279301_123706_000002 exited with exitCode: 127 due to: Exception from container-launch:...
Spark不能使用hive自定义函数.doc
最新发布
03-06
然而，在实际应用中，开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数（UDF）。本文将深入探讨这一问题，并提供解决方案。 #### 一、问题背景 当开发者尝试在 Spark 应用程序中...
Apache Spark常见面试题
02-19
- **特点**：在Standalone模式下，Spark应用可以独立部署在一个集群中，通过ZooKeeper解决了单点故障问题。Standalone模式下的资源管理较为简单，每个Worker节点上的资源被抽象成若干个slot，根据任务需求进行分配...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
Spark部署中的关键问题解决之道--许鹏.zip
10-25
《Spark部署中的关键问题解决之道--许鹏》 在大数据处理领域，Apache Spark因其高效、易用和灵活性而备受青睐。然而，Spark的部署和运行过程中可能会遇到一系列问题，这通常涉及到资源管理、集群配置、容错机制以及...
spark on yarn 运行报错 prelaunch.err.
夜下探戈
03-28 6494
错误代码如下： [2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : /hadoop/yarn/local/usercache/defu.du/appcache/application_1...
Spark提交任务到yarn上报错：is running beyond virtual memory limits
L
06-09 907
spark版本：spark-2.4.5-bin-hadoop2.7.tgz hadoop版本：hadoop-2.7.3.tar.gz 使用spark-submit将spark自带的一个example提交到yarn上执行，命令如下： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar ...
本地提交spark_Spark提交无法找到本地文件
weixin_39628256的博客
01-13 308
I've written a very simple python script for testing my spark streaming idea, and plan to run it on my local machine to mess around a little bit. Here is the command line:spark-submit spark_streaming....
运行spark 例子报错
robinson的专栏
06-19 3967
最近了解spark，运行例子的时候出现了一下错误
FileNotFoundError: [Errno 2] No such file or directory spark/./bin/spark-submit
蝉之洞
02-14 3959
原因是pycharm的spark路径没有配对 由于我用的是anaconda，后来改成对应路径即可    
Dolphinscheduler调度spark任务踩坑记录
快乐星球
11-16 8657
1、关于spark调度的worker部署 我在测试Dolphinscheduler时采用的是集群模式，两台机器部署master，两台机器部署worker，而hadoop和spark则是在其他的机器上部署的。在配置dolphinscheduler_env.sh文件时对如何设置spark环境地址就很疑惑。测试调度时果然第一个问题就是找不到spark-submit文件 command: line 5: /bin/spark-submit: No such file or directory 通过日志查看调度过
安装hadoop+spark的坑
juyuyh的博客
03-18 256
提示 slave2: mkdir: cannot create directory ‘/usr/local/hadoop-2.7.7/logs’: Permission denied slave2: chown: cannot access ‘/usr/local/hadoop-2.7.7/logs’: No such file or directory 在slaveX执行 sudo chown -R 你自己电脑的用户名 /usr/local/hadoop 下次注意事项 master slave1 slav
解决jupyter连接spark，No such file or directory: ‘/opt/spark/python/pyspark/./bin/spark-submit‘
这是博客简介
02-13 1556
在jupyther里面执行sc = SparkContext(conf=conf)，出现： ```python Spark submit fails: No such file or directory: '/opt/spark/python/pyspark/./bin/spark-submit' 解决办法： os.environ['SPARK_HOME'] = '/export/servre/spark' 填写集群的spark安装地址 ...
spark 启动报错 -- 主机别名
热门推荐
hzdxw的专栏
07-03 1万+
spark 启动报错 -- 主机别名
Spark on YARN集群部署指南
在这种模式下，Spark程序作为客户端提交到YARN运行，无需单独部署Spark集群。只需在Hadoop的Master节点上部署Spark，即可利用YARN的资源进行任务调度。 在部署过程中，首先需要从Spark官网下载对应版本的Spark，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值