requirement failed: Can only call getServletHandlers on a running MetricsSystem

最新推荐文章于 2024-01-07 04:30:00 发布
最新推荐文章于 2024-01-07 04:30:00 发布
阅读量3.6k 收藏
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/98872893
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了在尝试运行一个使用Spark Structured Streaming SQL并调用自定义Hive UDF的程序时遇到的问题。背景是进行数据处理，通过Hive UDF实现在原有数据后添加后缀并成功注册到Hive。然而，在本地环境连接远程Spark集群进行测试时，出现了'requirement failed: Can only call getServletHandlers on a running MetricsSystem'的错误。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.背景

我想运行一个spark structured steaming sql的程序，主要是想测试一个hive函数

2. hive UDF函数

package com.dtwave.udf;


import org.apache.hadoop.hive.ql.exec.UDF
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 20万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
【MotionCap】ImportError: cannot import name ‘packaging‘ from ‘pkg_resources‘
最新发布
突围
06-28 230
ImportError: cannot import name 'packaging' from 'pkg_resources'
Can only call getServletHandlers on a running MetricsSystem解决方法
qq_43408367的博客
08-02 2683
运行Spark集群时（standalone 模式下）出现Can only call getServletHandlers on a running MetricsSystem报错。第一种：遇到这种报错可以先查看下集群的worker，如果集群的 worker 挂掉了，重启下就好了。第三种：上一条中的spark.master端口没开，或者防火墙没关，属于网络问题，仔细排查下就行了。第二种：配置搞错了，查看spark-env.sh和spark-defaults.conf 文件。...
【问题解决】python任务提交到spark集群报错，提交本机没问题：requirement failed: Can only call getServletHandlers on a runni
nazhidao的专栏
04-17 1万+
在Pycharm里执行python程序提交到spark集群一直报错：requirement failed: Can only call getServletHandlers on a running MetricsSystem本地提交到本机Spark没问题。代码片段如下，用的spark官网的例子（点击打开链接）：logFile = "/home/ubutnu/spark_2_2_1/README....
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
qq_14945847的博客
05-06 1998
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem
weixin_45892401的博客
07-20 743
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem 发现是spark集群的worker节点进程掉了，cd 到spark目录下 sbin/start-all.sh 重启集群就好了
Can only call getServletHandlers on a running MetricsSystem
weixin_42926783的博客
12-25 7390
Spark 的 standalone 模式，运行报错 Can only call getServletHandlers on a running MetricsSystem 然后我去 8080 端口查看了一下，发现 spark 集群的 worker 都挂掉了，重启了spark 集群，好了 ...
. java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a runn
阿拉修
07-12 1487
在服务器上运行Spark程序报错 经过排查spark Master和Worker服务没有启动，启动之后再提交运行就正常了。
spark启动spark-shell报错
04-29
3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`...
已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-07 3万+
IllegalArgumentException是由于传递给方法的参数非法或不正确而引发的，要解决这个问题，需要在调用方法前验证输入，并在方法内部使用断言来检查参数的有效性。
spark本地提交集群运行踩过的坑
weixin_44273391的博客
11-02 2746
spark本地提交集群运行踩过的坑 1.本地提交，集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...
搭建Spark HA 模式
知其然，知其所以然
01-12 630
（1）基于文件系统的单点恢复 主要用于开发或测试环境。当spark提供目录保存spark Application和worker的注册信息，并将他们的恢复状态写入该目录中，这时，一旦Master发生故障，就可以通过重新启动Master进程（./sbin/start-master.sh），恢复已运行的spark Application和worker的注册信息。 基于文件系统的单点恢复，主要是在sp...
大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark
sunshine77_的博客
03-11 5549
1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...
Spark集群启动之Master、Worker启动流程源码分析
吟啸徐行
03-08 1243
Spark集群启动Master可以使用脚本启动：start-master，shell脚本细节自行查看。 最终启动命令为:java -cp /home/daxin/bigdata/spark/conf/:/home/daxin/bigdata/spark/jars/*:/home/daxin/bigdata/hadoop/etc/hadoop/ -Xmx1g -XX:MaxPermSize=256
Spark测量系统 MetricsSystem
u013597009的博客
12-30 2596
Spark测量系统，由指定的instance创建，由source、sink组成，周期性地从source获取指标然后发送到sink，其中instance、source、sink的概念如下： Instance：指定了谁在使用测量系统，在spark中有一些列如master、worker、executor、client driver这些角色，这些角色创建测量系统用于监控spark状态，目前在spark中
java.lang.IllegalArgumentException异常解决
热门推荐
静待花开
07-03 17万+
在maven项目中测试代码的时候，碰到java.lang.IllegalArgumentException异常：严重: Servlet.service() for servlet [e3-manager] in context with path [] threw exception [Request processing failed; nested exception is java.lang...
requirement failed: Can not directly broadcast RDDs; instead, call collect() and broadcast the result.
05-13
这个错误通常发生在尝试将RDD直接广播到集群中的所有节点时。在Spark中，广播变量是通过调用collect()方法将RDD收集到Driver节点上，然后再将其广播到集群的所有节点上的。因此，建议您将要广播的RDD先通过collect()方法收集到Driver节点上，然后再使用broadcast()方法广播到集群中的所有节点上。示例如下： ``` # 错误示例 rdd = sc.parallelize([1, 2, 3]) broadcast_var = sc.broadcast(rdd) # 正确示例 rdd = sc.parallelize([1, 2, 3]) broadcast_var = sc.broadcast(rdd.collect()) ``` 在以上示例中，我们先使用collect()方法将RDD收集到Driver节点上，然后再将其广播到集群中的所有节点上。这样可以避免“Can not directly broadcast RDDs”这个错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值