启动spark任务报错：ERROR SparkUI: Failed to bind SparkUI

最新推荐文章于 2024-09-02 03:23:17 发布
最新推荐文章于 2024-09-02 03:23:17 发布
阅读量4k 收藏 7
点赞数 5
分类专栏： spark 文章标签： java spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38855557/article/details/83377454
版权

       当启动一个spark任务的时候，就会占用一个端口，默认为4040，从日志可以看到当端口被占用时，它会默认依次增加16次到4056，如果还是失败的话，就会报错退出。

解决方法：

1. 使用spark-submit提交任务时，在脚本中加配置：--conf spark.port.maxRetries=128（亲测有效）

2. 在代码中初始化SparkConf时，设置conf.set(“spark.port.maxRetries”,“128”) （未测）

3. 在全局的spark-defaults.conf中添加spark.port.maxRetries 128 ， 对所有的application起作用（未测）

 

 

 

 

不要海带和香菜
关注
专栏目录
Spark常见问题解决-日志和排查办法
someInNeed的博客
01-25 467
（3）查看是否任务参数设置不合理，例如executor-memory是设的大，但是--num-executors设置的很少才几十个，可以根据集群情况和业务量大小合理增大executor数，数量判断标准是一个executor的CPU core同一时刻尽量只处理一个HDFS block的数据（如128或256M），在没有设置--executor-cores等参数的情况下，默认一个executor包含一个CPU core。elasticsearch-hadoop使用的就是HTTP方式连接的ES集群。
spark报错：ERROR SparkUI: Failed to bind SparkUI，解决办法
热门推荐
x_lock的博客
05-21 1万+
failed to bind sparkUI 错误原因：每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。
spark报错：ERROR SparkUI: Failed to bind SparkUI
liuandefeng的专栏
05-11 492
我是在IntellijIdea下运行的，试着安装了windows版本下的hadoop3.2.4核spark3.2.4，都不行；
spark报错：显示集群成功连接却无法访问WebUI
最新发布
enlin95993的博客
09-02 414
端口号被修改为8081，还可以用scp指令把修改后的spark-defaults.conf发送到两台worker上。注：请根据自己spark的安装目录自行修改代码。搭建spark集群时候显示集群搭建成功。
idea报错ERROR SparkUI: Failed to bind SparkUI
liuandefeng的专栏
05-08 496
23/05/08 12:19:25 INFO ShutdownHookManager: Deleting directory C:\Users\刘淦\AppData\Local\Temp\spark-07efe499-e628-4782-8975-da3eabc9fefe\userFiles-fd1732b6-af48-4d65-a451-9ca531500da6。
Spark2.2出现异常：ERROR SparkUI: Failed to bind SparkUI
weixin_44280356的博客
08-11 958
Consider explicitly setting the appropriate port for the service ‘SparkUI’ (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.初始化SparkConf时，添加conf.set(“spark.port.maxRetries”,“100”)语句；16次重试都失败后，会放弃该任务的运行。
本地Idea运行Spark任务错误：Cannot assign requested address: bind: Service 'sparkDriver'
FYDragonFYL的博客
12-17 3044
18/12/17 10:37:20 ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries (starting from 0)! ...
【error】SparkUI端口被占用
drl_blogs的博客
07-02 1783
ERROR ui.SparkUI: Failed to bind SparkUI java.net.BindException: Address already in use: bind: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropri...
Spark structured streaming : could not bind on a random free port
九师兄
07-04 1120
19/09/06 11:07:48 WARN util.Utils: Service 'sparkDriver' could not bind on a random free port. You may check whether configuring an appropriate binding address. 19/09/06 11:07:48 WARN util.Utils: Serv...
Failed to bind SparkUI 解决
sunxunyong的博客
07-15 248
当启动一个spark任务的时候，就会占用一个端口，默认从4040开始探测，默认依次增加16次到4056，如果还是失败的话，就会报错退出。意味着Spark UI无法绑定到预期的端口。
Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
weixin_30781107的博客
11-07 532
Spark多任务提交运行时候报错。 java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries! at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(Net.java:444) at sun.ni...
flume到spark-streaming时遇到Failed to bind to: /IP:PORT错误时解决办法
十色花的博客
08-23 1310
spark-streaming连接flume时报错org.jboss.netty.channel.ChannelException: Failed to bind to: /IP:PORT 连接flume是通过 JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createStream(jssc, ...
简单搞定Spark性能优化:常见异常解决（一）
github_36444580的博客
05-19 1355
spark日志查看方法 分享一个博客：https://blog.csdn.net/qq_33588730/article/details/109353336 异常集 1.org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow 原因：kryo序列化缓存空间不足。 解决方法：增加参数，--confspark.kryoserializer.buffer.max=2047m。 2.o...
Spark问题与解决：java.netBindException:Address alreday in use
栖溪阁晓生的博客
11-11 2158
java.netBindException:地址已在使用 问题： FAILED SwlectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use ... ERROR SparkUI: Failed to bind SparkUIjava.net.BindException:Address already in use:Service 'SparkUI' failed after 16 retries! 原
spark-submit 提交任务报错
hor_i_zon的博客
03-29 1764
在idea中用java写spark应用，在服务器上spark-submit提交任务一直报错，在两个不同的spark集群上分别报错java.lang.ClassNotFoundException 和java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 检查了依赖包没有冲突，入口
SparkUI超详细解释（2）——Stages
2301_77818583的博客
04-26 2448
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个task中。”下的一些指标上，也可以看到相关信息，或更具体的说明。task的时间线，以条形图+不同颜色的方式描述了各个task的不同动作下的耗时，鼠标浮动到某个条形图上，可以看到该task具体的各项时间。
IDEA 启动报错： Address already in use bind
09-21
IDEA启动报错"Address already in use: bind"是表示端口已经被占用的错误。可以通过以下步骤解决该问题： 1. 检查是否有其他程序正在使用相同的端口。可以使用命令行工具（如Windows的cmd或Linux的Terminal）执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值