Spark 连接 hdfs时：Call From to master:8020 failed on connection exception:

最新推荐文章于 2022-11-20 21:16:55 发布
最新推荐文章于 2022-11-20 21:16:55 发布
阅读量9.1k 收藏 1
点赞数 1
分类专栏： 云计算 文章标签： spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzp3333/article/details/50294819
版权

问题原因

Spark 默认的 hdfs 端口号为 8020，而在设置 hadoop 时，一般将其设置为 9000

设置的位置在 core-site.xml 中 —- fs.defaultFS属性（一般设置为 hdfs://master:9000）

解决

  • 一般使用 hdfs 中的文件时，使用 URI 路径最好注明端口号，如 hdfs://master:9000/tmp

  • 网上有人直接改 core-site.xml 文件中的 fs.defaultFS 属性

extendswind
关注
专栏目录
Spark启动报错java.net.ConnectException:Call From xxx to xxx:8020 to failed on connection exception:拒绝连接
zhengzaifeidelushang的博客
11-09 2784
Spark启动报错：java.net.ConnectException: Call From bigdata1 192.168.239.131 to bigdata1:8020 failed on connection exception: java.net.ConnectException: 拒绝连接 For more details see: http:wiki.apache.orghadoopCon 一、确保防火墙关闭 systemctl stop firewalld systemctl statu
ERROR spark.SparkContext:Error initializing SparkContext.Call From to failed on connection exception
zhengzaifeidelushang的博客
11-11 1392
Spark集群搭建完，节点启动Spark-shell报错 报错如下： bigdata1节点启动Spark-shell报错： ERROR repl.Main: Failed to initialize Spark session.java.net.ConnectException: Call From bigdata1/192.168.239.131 to bigdata1:8020 failed on connection exception: java.net.ConnectException: 拒绝连接
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.Connec
u011126065的博客
08-31 1931
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar pi 1 1
Spark 连接 hdfs时：Call From to master:8020 failed on connection exception:
12-07 1170
Spark默认hdfs的端口号为：8020 Hadoop默认hdfs的端口号是：9000 转载于:https://www.cnblogs.com/xzh431/p/6141776.html
java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception: java.net.
weixin_42641465的博客
03-13 5604
踩坑记录！！！！ 问题描述： 虚拟机上的linux固定IP后无法在物理机使用JAVA API连接HDFS，报错如下： java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused 找教程瞎...
Call From s0/192.168.56.140 to s0:8020 failed on connection exception
peng4602的专栏
04-03 1596
ubuntu@s0:~$ hadoop fs -ls / ls: Call From s0/192.168.56.140 to s0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/...
踩坑：早已预料到的错误：java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exceptio
热门推荐
japson的专栏
05-31 4万+
踩坑：早已预料到的连接错误：java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused 标签（空格分隔）： 踩坑 JAVA API 操作 HDFS出现连接错误： java.ne...
Hadoop报错java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception
给我一点温度
08-16 7750
运行Spark时报错，java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception, caused by:java.net.ConnectException:拒绝连接 提示可以去Hadoop官网上找答案，网址如下：https://cwiki.apache.org/conflue...
spark sql 创建表时候出现hostName:9000 failed on connection exception:
运西北
07-01 563
背景：spark on yarn模式下通过beeline连接spark thriftserver访问spark。 问题：如下图，使用beeline的时候，可以正常切换数据库、显示有多少张表。但是在使用默认数据库（default）的时候出现，如下图所示的问题failed on connection exception: 问题定位： （1）从异常出发，排除了防火墙的原因； （2）进入问题节点：使用netstat -nltp | grep 9000，发现该节点就没有进程监听9000端口。 另外当前的ha
spark读取HDFS文件java.net.ConnectException: Connection refused异常解决方法
每天进步一点点2017
05-19 1万+
问题：java.net.ConnectException: Call From Master/xxx.xxx.x.xxx to user:8020 failed on connection exception: java.net.ConnectException: Connection refusedscala> disfile.collect().foreach(println) java...
ls: Call From master.hadoop.com/192.168.137.140 to master.hadoop.com:8020 failed on connection excep
weixin_45970532的博客
03-23 3934
记录一下自己煞笔的高光时刻 原错误为ls: Call From master.hadoop.com/192.168.137.140 to master.hadoop.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 实际需要的结果截图如下
spark连接HDFS报错：8020 failed on connection exception: java.net.ConnectException: 拒绝连接 解决方法
我也很绝望的博客
08-18 1万+
刚开始学习spark，结果连接HDFS报错了。查了一些资料，原因找到了。 因为我配置的HDFS集群端口是9000，而spark写的是8020，结果肯定会报错啊。把8020改为9000即可。错误很低级，但写出可能给新手有帮助吧。
关于hdfs默认端口的问题8020
HMC20071120015的专栏
11-07 1万+
<br />今晚看hadoop the definitive guid ，到第三章讲关于hdfs，我照着他的例子来，在eclipse里弄好代码，执行却一直报错，说连不上localhost:8020，我检查了下配置文件，里面确实没有这个端口的配置，但是core-site.xml里面有一条hdfs:localhost:9000, 看了却没有该下试试的想法，以为会默认启动8020端口，会不会是别的问题，后来看到这个大婶的博文才试试，结果正着，可能是配置遗留问题（官方对0.20.2的quick start确实是90
linux启动hive报java.net.ConnectException：Connection refused;
qq_44124547的博客
10-27 1079
这里写自定义目录标题欢迎使用Markdown编辑器功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdo...
hadoop连接hdfs报错Call From master/172.27.0.5 to master:8020 failed on connection exception: 问题的解决
qq_34409900的博客
10-03 4848
今天启动完成之后hadoop，然后连接hdfs发现死活连接不上，然后网上看了一些信息，发现好多是讲防火墙关闭，网络端口修改成可以远程连接。然后试了之后发现都不行，然后检查了自己的hosts文件的设置和环境变量发现也没有问题。 最后把core-site.xml里设置路径的tmp文件夹、dfs文件夹、data文件夹、name文件夹、hadoop根目录logs文件夹等清空...
HIVE启动错误：The root scratch dir: hdfs://master:8020/user/hive/tmp on HDFS should be writable的详细解决方法。
m0_55969961的博客
11-20 1337
详细步骤 解决：Exception in thread "main" java.lang.RuntimeException: The root scratch dir: hdfs://mast/user/hive/tmp on HDFS should be writable. Current permissions are: rwxr-xr-x
关于 Call From master/172.27.0.5 to master:8020 failed on connection exception: 问题解决
PeixinYe的博客
04-23 1万+
一般来说是你的hosts文件没设置好，以前有篇说过了。。。但是！如果你确定hosts文件设置好了，却还有这个问题，这可能是你环境配置时的PATH=HADOOPXXXXX等的路径没设置好！！比较保险的办法就是：删除再新建你core-site.xml里设置路径的tmp文件夹、dfs文件夹、data文件夹、name文件夹、hadoop根目录logs文件夹，再hdfs namenode -format就这...
HDFS文件上传：8020端口拒绝连接问题解决！
IAProgramer的博客
05-27 2万+
忙了一整天，一直在解决hdfs上传文件时的错误，昨天最后有了一些头绪，但是没来得及验证，今天上午终于验证了自己的想法，从而顺利解决了困扰了自己许久的问题。以这个问题为契机，自己对Hadoop的配置文件重新进行了梳理，顺便加深了对于HDFS的理解。首先来看一直困扰自己的问题，该问题是在自己尝试向HDFS上传本地文件的时候发生的： CopyFromLocal: Call to localhost/1
Call From master/192.168.170.128 to master:8020 failed on connection exception: java.net.ConnectExce
qiweiqian的博客
06-11 1万+
在执行一个Hadoop的文件读写任务是发生这个错误：Call From master/192.168.170.128 to master:8020 failed on connection exception: java.net.ConnectException: Connection。 意思大致是无法连接到master的8020端口。该问题造成的主要原因是和Hadoop以及Linux系
mkdir: Call From hadoop102/192.168.45.102 to hadoop102:8020 failed on connection exception: java.net
最新发布
10-20
看起来你遇到了Hadoop分布式文件系统(HDFS)之间通信的问题，具体表现为`Call From`主机到另一个主机的连接失败。这通常与网络设置、防火墙配置以及Hadoop守护进程的安全性有关。以下是可能的原因和解决方案： 报错原因： 1. **防火墙阻止**：如果主节点（hadoop1）的9000端口受到防火墙限制，导致其他节点无法连接。 2. **端口未开放**：即使防火墙允许，也可能是因为主节点的9000端口并未开启，用于接收客户端请求。 3. **远程访问权限**：即使端口开放，若设置了只允许本地连接，那么外部节点会收到拒绝连接。 报错解决步骤（简易版本）[^2]： 1. **检查防火墙设置**：确认主节点的防火墙是否允许来自其他节点的TCP连接，特别是9000端口。 ```shell sudo ufw allow from <slave_ip> to any port 9000 ``` 2. **启动Hadoop服务**：确保Hadoop在主节点上运行并且NameNode（可能是`hdfs namenode -format`后的结果）正在监听9000端口。 3. **修改配置**：检查`core-site.xml`或`hdfs-site.xml`中的`<dfs.http.address>`配置，确保允许远程访问。默认应为`localhost`，需改为全网地址如`0.0.0.0`。 4. **重启Hadoop服务**：如果上述步骤调整了配置，需要重启Hadoop以应用新的设置。 ```shell sudo service hadoop-daemon restart namenode ``` 如果你遇到类似`mkdir: Call From hadoop102/192.168.45.102 to hadoop102:8020 failed on connection exception: java.net...`的错误，可能说明尝试连接的节点自身存在问题，或者是网络环境内部的连通性问题。检查hadoop102自身的网络设置和Hadoop服务状态也是必要的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值