【问题解决】python任务提交到spark集群报错，提交本机没问题：requirement failed: Can only call getServletHandlers on a runni

最新推荐文章于 2024-01-07 04:30:00 发布
最新推荐文章于 2024-01-07 04:30:00 发布
阅读量1.1w 收藏
点赞数 2
分类专栏： 大数据 问题解决 文章标签： Spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nazhidao/article/details/79979417
版权
在尝试从PyCharm将Python程序提交到Spark集群时遇到错误：requirement failed: Can only call getServletHandlers on a running MetricsSystem。本地提交没有问题。通过查看集群master节点日志发现，虽然接收到请求但处理时出错，疑似对象序列化问题。经过检查，确认JDK版本一致，但Spark版本不同（集群2.2.1，本地2.3.0）。将本地Spark版本降至2.2.1并重启后，问题解决，但随后出现新的资源分配警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources。这个问题将在另一篇博文中讨论。
摘要由CSDN通过智能技术生成

在Pycharm里执行python程序提交到spark集群一直报错：requirement failed: Can only call getServletHandlers on a running MetricsSystem

本地提交到本机Spark没问题。

代码片段如下，用的spark官网的例子（点击打开链接）：

logFile = "/home/ubutnu/spark_2_2_1/README.md"
sc = SparkContext("local","Simple App")
# sc = SparkContext(master="spark://192.168.3.207:7077",appName="Simple_App")
错误：
2018-04-17 17:11:09 ERROR StandaloneSchedulerBackend:70 - Application has been killed. Reason: All masters are unresponsive! Giving up.
2018-04-17 17:11:09 WARN  StandaloneSchedulerBackend:66 - Application ID is not initialized yet.
2018-04-17 17:11:09 WARN  StandaloneAppClient$ClientEndpoint:66 - Drop UnregisterApplication
最低0.47元/天 解锁文章
哪知道
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
requirement failed: Can only call getServletHandlers on a running MetricsSystem
九师兄
07-04 3568
requirement failed: Can only call getServletHandlers on a running MetricsSystem
. java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a runn
阿拉修
07-12 1456
在服务器上运行Spark程序报错 经过排查spark Master和Worker服务没有启动，启动之后再提交运行就正常了。
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
qq_14945847的博客
05-06 1976
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
Can only call getServletHandlers on a running MetricsSystem解决方法
qq_43408367的博客
08-02 2581
运行Spark集群时（standalone 模式下）出现Can only call getServletHandlers on a running MetricsSystem报错。第一种：遇到这种报错可以先查看下集群的worker，如果集群的 worker 挂掉了，重启下就好了。第三种：上一条中的spark.master端口没开，或者防火墙没关，属于网络问题，仔细排查下就行了。第二种：配置搞错了，查看spark-env.sh和spark-defaults.conf 文件。...
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem
weixin_45892401的博客
07-20 726
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem 发现是spark集群的worker节点进程掉了，cd 到spark目录下 sbin/start-all.sh 重启集群就好了
Can only call getServletHandlers on a running MetricsSystem
weixin_42926783的博客
12-25 7361
Spark 的 standalone 模式，运行报错 Can only call getServletHandlers on a running MetricsSystem 然后我去 8080 端口查看了一下，发现 spark 集群的 worker 都挂掉了，重启了spark 集群，好了 ...
CentOS7上 pip install MySQL-python 安装失败（error: command 'gcc' failed with exit status 1）的解决办法
小海银鱼的博客
07-16 8398
(pk_env) [dechao@s97-74-237-68 ~]$ pip install MySQL-python                 Collecting MySQL-python  Using cached MySQL-python-1.2.5.zip Building wheels for collected packages: MySQL-python  Runni
mvn打包报错：No compiler is provided in this environment. Perhaps you are running on a JRE?
weixin_44035880的博客
06-18 500
操作环境：macOS Big Sur，idea自带的terminal 问题描述：在terminal输入mvn -compile，出现题目所示错误信息 错误原因：maven找不到系统指定的jre，根源是java环境配置出现问题 当前maven 目标maven 解决方案：重新配置Java环境变量即可解决问题 1、添加java安装路径到系统PATH Mac java安装与卸载 2、验证maven 3、maven 编译成功 ...
使用 Redis 分布式锁报错：-READONLY
qq_40286307的博客
10-25 2063
使用 Redisson 提供的 Redis 分布式锁时，编译没有问题，运行时报错 (-READONLY You can’t write against a read only replica)： 10月 11, 2020 2:18:18 上午 org.apache.catalina.core.StandardWrapperValve invoke 严重: Servlet.service() for servlet [springMVC] in context with path [] threw excep
启动flume报错：ERROR node.Application: A fatal error occurred while running. Exception follows
热门推荐
fengjinghong的博客
06-26 1万+
1、配置好flume到kafka进行数据消费 当我在kafka创建好消费主题，然后到flume启动时报如下错误： 启动命令：（在flume的bin目录下） ./flume-ng agent -n a1 -c ../config -f ../config/config/flume-exec-kafka.conf 报错信息： ERROR node.Application: A fatal error occurred while running. Exception follows. org.apac
Spark提交应用失败
harli的专栏
03-06 861
第一种失败： TaskSchedulerImpl 调度失败 报错信息: TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 原因分析： 1. w
如何将编写的py文件提交到spark并在集群下执行job
幸运的Alina的博客
06-20 2892
没学过java的时候用Spark可能一开始就会直接用Python对接，因为如果是创建scala语言的话，会存在很多问题，包括生成scala类或者object,以及最终在idea里面编译成jar包，因为需求紧急，所以就直接用Python来写了，那么将写完的 python文件如果只是在某个集群中的一台机器上运行，那么会发现实际整个运转都是在本地执行的，并没有做到集群运算，所以这里需要使用的就是进入到s...
Spark提交代码到Yarn 集群报错接解决措施
weixin_45793819的博客
04-03 341
1 启动Yarn 的history 服务 查看log信息 启动密令 启动YARN，进入hadoop的安装目录，sh sbin/start-yarn.sh 启动日志相关服务，进入hadoop的安装目录，sh sbin/mr-jobhistory-daemon.sh start historyserver 集群启动顺序 sh sbin/start-dfs.sh sh sbin/start-yarn.s...
已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-07 3万+
IllegalArgumentException是由于传递给方法的参数非法或不正确而引发的，要解决这个问题，需要在调用方法前验证输入，并在方法内部使用断言来检查参数的有效性。
spark本地提交集群运行踩过的坑
weixin_44273391的博客
11-02 2709
spark本地提交集群运行踩过的坑 1.本地提交，集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...
初识spark的wordcout程序运行错误
weixin_45577149的博客
11-13 368
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/spark/hello.txt 解决办法： 从本地上运行wordcount程序 sc.textFile("/spark/hi.txt").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)...
ERROR Worker: All masters are unresponsive! Giving up
weixin_30567225的博客
12-01 2124
启动spark的时候发现，主节点（master）上的Master进程还在，子节点（Worker）上的Worker进程自动关闭。 在子节点上查询log发现： ERROR Worker: All masters are unresponsive! Giving up 发现子节点连接不上master节点，经检测，master上防火墙没有关闭。。 转载于:https://www.cnblogs.co...
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon runni
09-28
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 这个问题提示无法连接到Docker守护程序。要解决这个问题，您可以尝试以下步骤： 1. 首先，确保Docker守护程序正在运行。您可以使用以下命令来检查守护程序的状态：sudo service docker status。如果守护程序没有运行，您可以使用sudo service docker start命令来启动它。 2. 如果守护程序已经在运行，但您仍然无法连接到它，请检查docker.sock文件的权限。您可以使用ls -l /var/run/docker.sock命令来查看文件的权限。确保当前用户具有对该文件的访问权限。如果没有，请使用sudo chown <your_username> /var/run/docker.sock命令将文件的所有权更改为当前用户。 3. 如果上述步骤都没有解决问题，您可以尝试重启Docker服务。您可以使用以下命令来重启Docker服务：sudo service docker restart。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪知道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值