spark启动历史服务配置时报错java.net.ConnectException: Connection refused; For more details see: http://wiki.ap

spark启动历史服务配置时,没报错,然后在运行spark任务时报错:
Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
通过查看spark历史服务配置的日志,日志路径为spark/logs目录下,发现spark的history历史服务并没有起来,日志报错为:Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
大致意思是hdfs拒绝了连接,原因是默认我的hadoop中core-site.xml文件中配置的hdfs端口为9000在这里插入图片描述
而在spark的yarn配置中,我的spark.eventLog.dir中hdfs端口为8020
在这里插入图片描述
解决方案:将两边的端口匹配。
方法一:需改spark目录下conf/spark-defaults.conf和spark-env.sh,将其中spark历史log的hdfs端口改为9000(推荐此做法)
在这里插入图片描述
在这里插入图片描述

方法二:直接修改core-site中hdfs的默认端口,将9000端口改为8020

修改后即可启动spark历史配置服务。

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
发送GET请求出现异常java.net.ConnectException: Connection refused: connect 是因为连接被拒绝。这种异常通常是由于以下几个原因引起的: 1. 目标服务器未启动或未监听指定的端口。在发送请求之前,确保目标服务器正在运行,并且监听了你所指定的端口。 2. 防火墙或代理服务器阻止了连接。检查你的防火墙设置或代理服务器设置,确保允许与目标服务器建立连接。 3. 网络连接问题。检查你的网络连接是否正常,尝试重新连接或更换网络环境。 4. 目标服务器过载。如果目标服务器处理过多的请求或负载过重,可能会导致连接被拒绝。在这种情况下,你可以尝试在稍后再次发送请求。 如果你遇到了这个异常,你可以尝试以下解决方法: 1. 确保目标服务器正在运行并监听正确的端口。 2. 检查防火墙或代理服务器设置,确保允许与目标服务器建立连接。 3. 检查网络连接,尝试重新连接或更换网络环境。 4. 如果是目标服务器过载导致的连接被拒绝,可以等待一段时间后再次发送请求。 希望这些解决方法能帮助你解决问题。如果问题仍然存在,请参考引用中提供的更多解决办法。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [java.net.ConnectException: Connection refused: connect](https://blog.csdn.net/weixin_28961565/article/details/114612938)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [java.net.ConnectException: Connection refused问题解决办法](https://download.csdn.net/download/weixin_38711778/12790245)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值