idea报错ERROR SparkUI: Failed to bind SparkUI

已于 2023-05-08 15:35:58 修改
阅读量496 收藏
点赞数
文章标签： intellij-idea java jvm
于 2023-05-08 15:35:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuandefeng/article/details/130560301
版权
在尝试绑定多个端口（4048至4056）后，SparkUI服务无法成功绑定到任何端口，导致服务启动失败。错误信息提示可能需要设置特定的SparkUI端口或增加spark.port.maxRetries的重试次数。
摘要由CSDN通过智能技术生成

23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4048. Attempting port 4049.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4049. Attempting port 4050.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4050. Attempting port 4051.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4051. Attempting port 4052.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4052. Attempting port 4053.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4053. Attempting port 4054.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4054. Attempting port 4055.
23/05/08 12:19:25 WARN Utils: Service 'SparkUI' could not bind on port 4055. Attempting port 4056.
23/05/08 12:19:25 ERROR SparkUI: Failed to bind SparkUI
java.net.BindException: Failed to bind to /0.0.0.0:4056: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.
    at org.sparkproject.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:349)
    at org.sparkproject.jetty.server.ServerConnector.open(ServerConnector.java:310)
    at org.sparkproject.jetty.server.AbstractNetworkConnector.doStart(AbstractNetworkConnector.java:80)
    at org.sparkproject.jetty.server.ServerConnector.doStart(ServerConnector.java:234)
    at org.sparkproject.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:73)
    at org.apache.spark.ui.JettyUtils$.newConnector$1(JettyUtils.scala:302)
    at org.apache.spark.ui.JettyUtils$.httpConnect$1(JettyUtils.scala:333)
    at org.apache.spark.ui.JettyUtils$.$anonfun$startJettyServer$5(JettyUtils.scala:336)
    at org.apache.spark.ui.JettyUtils$.$anonfun$startJettyServer$5$adapted(JettyUtils.scala:336)
    at org.apache.spark.util.Utils$.$anonfun$startServiceOnPort$2(Utils.scala:2331)
    at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:158)
    at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:2323)
    at org.apache.spark.ui.JettyUtils$.startJettyServer(JettyUtils.scala:337)
    at org.apache.spark.ui.WebUI.bind(WebUI.scala:146)
    at org.apache.spark.SparkContext.$anonfun$new$11(SparkContext.scala:486)
    at org.apache.spark.SparkContext.$anonfun$new$11$adapted(SparkContext.scala:486)
    at scala.Option.foreach(Option.scala:407)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:486)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2672)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:945)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:939)
    at com.mm.rdd.WordCount$.main(WordCount.scala:6)
    at com.mm.rdd.WordCount.main(WordCount.scala)
23/05/08 12:19:25 INFO DiskBlockManager: Shutdown hook called
23/05/08 12:19:25 INFO ShutdownHookManager: Shutdown hook called
23/05/08 12:19:25 INFO ShutdownHookManager: Deleting directory C:\Users\刘淦\AppData\Local\Temp\spark-07efe499-e628-4782-8975-da3eabc9fefe\userFiles-fd1732b6-af48-4d65-a451-9ca531500da6
23/05/08 12:19:25 INFO ShutdownHookManager: Deleting directory C:\Users\刘淦\AppData\Local\Temp\spark-07efe499-e628-4782-8975-da3eabc9fefe

Process finished with exit code 1

三峡大爸
关注
Spark structured streaming : could not bind on a random free port
九师兄
07-04 1120
19/09/06 11:07:48 WARN util.Utils: Service 'sparkDriver' could not bind on a random free port. You may check whether configuring an appropriate binding address. 19/09/06 11:07:48 WARN util.Utils: Serv...
spark报错：ERROR SparkUI: Failed to bind SparkUI，解决办法
热门推荐
x_lock的博客
05-21 1万+
failed to bind sparkUI 错误原因：每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。
启动spark任务报错：ERROR SparkUI: Failed to bind SparkUI
璃鹿的博客
10-25 4075
       当启动一个spark任务的时候，就会占用一个端口，默认为4040，从日志可以看到当端口被占用时，它会默认依次增加16次到4056，如果还是失败的话，就会报错退出。 解决方法： 1. 使用spark-submit提交任务时，在脚本中加配置：--conf spark.port.maxRetries=128（亲测有效） 2. 在代码中初始化SparkConf时，设置conf.se...
spark报错：显示集群成功连接却无法访问WebUI
最新发布
enlin95993的博客
09-02 406
端口号被修改为8081，还可以用scp指令把修改后的spark-defaults.conf发送到两台worker上。注：请根据自己spark的安装目录自行修改代码。搭建spark集群时候显示集群搭建成功。
Spark2.2出现异常：ERROR SparkUI: Failed to bind SparkUI
weixin_44280356的博客
08-11 958
Consider explicitly setting the appropriate port for the service ‘SparkUI’ (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.初始化SparkConf时，添加conf.set(“spark.port.maxRetries”,“100”)语句；16次重试都失败后，会放弃该任务的运行。
spark报错：ERROR SparkUI: Failed to bind SparkUI
liuandefeng的专栏
05-11 492
我是在IntellijIdea下运行的，试着安装了windows版本下的hadoop3.2.4核spark3.2.4，都不行；
IDEA运行报错：APPLICATION FAILED TO START
Cui122308的博客
11-09 1763
IDEA报错问题：Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.
idea启动报错：java.lang.IllegalStateException: Failed to load property source from location
lynjustlikthis的博客
08-05 3138
解决：java.lang.IllegalStateException: Failed to load property source from location 报错信息： java.lang.IllegalStateException: Failed to load property source from location 'classpath:/config/application.yml' at org.springframework.boot.context.config.ConfigFileA
本地Idea运行Spark任务错误：Cannot assign requested address: bind: Service 'sparkDriver'
FYDragonFYL的博客
12-17 3043
18/12/17 10:37:20 ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries (starting from 0)! ...
出现这种错误 Failed to bind properties under ” to com.zaxxer.hikari.HikariDataSource:
qq_45745319的博客
05-20 6798
在做springBoot与mybatis整合的时候 在测试的时候出现一下错误 java.lang.IllegalStateException: Failed to load ApplicationContext at org.springframework.test.context.cache.DefaultCacheAwareContextLoaderDelegate.loadContext(DefaultCacheAwareContextLoaderDelegate.java:132) ...
Failed to bind SparkUI 解决
sunxunyong的博客
07-15 245
当启动一个spark任务的时候，就会占用一个端口，默认从4040开始探测，默认依次增加16次到4056，如果还是失败的话，就会报错退出。意味着Spark UI无法绑定到预期的端口。
Windows10：spark报错。WARN Utils: Service ‘SparkUI‘ could not bind on port 4040. Attempting port 4041.
灿灿的博客
07-16 5979
最近在单机练习SPARK的过程中，遇到下面的问题： 本机：Windows10 主要问题是：我之前打开了一个shell窗口，用Scala模式运行。 然后在里面设置了spark的context，此时spark-shell里已经有一个context对象了，所以在pyspark中我新建创建的数据无法使用。 解决方法： 关闭之前打开的spark-shell. 这里我采用的是ctrl+c，退出该程序命令。 ...
python脚本中创建SparkContext对象报错 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting po
onlymayao的博客
06-07 2434
问题排查 spark-shell中已经创建一个对象 所以再在python脚本中去创建对象的时候，提示不可用 解决方案 释放 spark-shell中创建的对象，然后重新执行脚本没有这个报错了 如果不是这个问题造成的 可以看下是不是其他应用把端口都占了导致端口不可用。 ...
Address already in use: Service 'SparkUI' failed after 16 retries!
hxiaowang的博客
12-27 6396
saprk-sql 启动时报错 描述：每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。 解决 初始化SparkConf时，添加conf.set(“spark.port.maxRetries”,“100”)语句 使用spark-submit提交任务时，在命令行中添加-D...
Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)!
onway_goahead的博客
03-25 2452
Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consi der explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for Spark...
Spark被端口占用 Address already in use: bind: Service ‘SparkUI‘ failed after 16 retries
小宇的博客
01-09 2085
环境如下 win10 IDEA2020.3 spark2.4.4 在Windows上调试Spark程序时出现如下错误: Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态，启动Web程序就需要监听一个端口，默认为4040，这个好像是端口被占用了，spark就会依次重试16,将端口号依次加1，如果重试16次之后依然被占用，就会抛出异常。 解决方法 需要配置端口被占用之后的重试次数，代码如下 spark.port.maxRetries=100 val spar
Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
YZJ8819的博客
03-08 467
spark同时提交多个任务,运行时候报错。 17/02/27 16:29:43 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@d0c51d7: java.net.BindException: Address already in use java.net.BindException: Addr...
charles error:failed to bind
07-28
charles error:failed to bind是指在使用charles软件时出现了无法绑定端口的错误。这个错误通常是由于端口已经被其他程序占用导致的。\[1\]端口可以被看作是服务器上的房间号，每个程序需要放在服务器上不同的房间里面。当我们的java程序占用了8888端口时，charles就无法绑定该端口，从而出现了failed to bind的错误提示。要解决这个问题，我们需要找到占用了8888端口的程序，并将其关闭或更改端口。可以使用一些网络工具来查看当前正在使用的端口，然后找到占用了8888端口的程序并进行处理。\[1\] 另外，如果你在使用charles时遇到了安装证书的界面，你需要选择第二项并信任证书，这样才能抓取https的封包。\[2\]在手机上设置charles的代理时，需要确保电脑上的charles端口设置为8888，并在手机上设置手动HTTP代理，将IP地址和端口号设置为与电脑一致。\[3\]完成这些设置后，就可以在charles中捕获手机请求了。如果charles在首次连接时弹出确认提示框，选择allow即可。后续可以在charles的access control settings中进行管理。\[3\] #### 引用[.reference_title] - *1* [charles的使用记录](https://blog.csdn.net/weixin_41951986/article/details/85234466)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Charles简单教程](https://blog.csdn.net/HUIZHOU_aCHAO/article/details/104049508)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值