Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection

最新推荐文章于 2023-06-16 14:28:29 发布
最新推荐文章于 2023-06-16 14:28:29 发布
阅读量1.9k 收藏 11
点赞数 1
文章标签： hdfs spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62940906/article/details/127695174
版权

在Ubuntu启动了spark后进入scala，从HDFS读取已经放入的README.md文件，输入

val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/README.md")

读取首行时出现报错：

textFile.first()
java.net.ConnectException: Call From xxx to localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

在Ubuntu新终端输入：

telnet localhost 9000

说明9000端口拒绝访问

stop-all.sh

停止Hadoop后修改hadoop的core-site.xml 

将配置文件core-site.xml中的fs.defaultFS参数改成
全网访问，改成hdfs://0.0.0.0:9000

 后重启hdfs即可

start-all.sh

再次查看端口

telnet localhost 9000

Telnet成功：

重启scala，再次查看文件，发现成功输出

textFile.first()

 问题解决。

梅子青时雨711
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
Input path does not exist: hdfs://localhost:9000/usr/hadoop/word.txt
热门推荐
DaB_za的博客
04-10 1万+
最近在学习Spark读取HDFS上面的数据，执行代码： textFile = sc.textFile("hdfs://localhost:9000/usr/local/hadoop/word.txt") 遇到标题上的错误： Input path does not exist: hdfs://localhost:9000/usr/local/hadoop/word.txt 作者第一次学习Spark，对本地（local）读取和HDFS读取并不是太懂，折腾了半天，找了很多解答，也还是没有解决这个问题。还好舍友厉
解决Structuredstreaming 输出到console提示 localhost:9000 failed on connection exception: Connection refused
愿你远行千里，归来仍是少年
09-12 931
问题： 执行一下语句进行调试pyspark编写的Structed Streaming程序 query = df_tmp2\ .writeStream.outputMode("complete").format("console") \ .start() 提示：Call From ubuntu/127.0.1.1 to localhost:9000 fail...
Wrong FS: hdfs://localhost:9000/input, expected: file:///
scalad
10-28 5287
使用java对hadoop操作的时候出现错误Wrong FS: hdfs://localhost:9000/input, expected: file:///，错误信息如下 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j
hadoop常见错误(转载)
CoderLife9192的专栏
03-07 2939
hadoop常见异常 错误解决： 1.如果在bin/hadoop dfs -put /home/test-in input该过程中出现"can only be replicated to node 0, instead of 1",解决办法是打开http://localhost:50070/dfshealth.jsp查看，确定了livenode数目为你的机器实际数目时，再进行put（
mkdir :hdfs://localhost:9000
qq_48308055的博客
09-24 2337
当执行./bin/hdfs dfs -mkdir input， 显示/user/你的用户名，文件不存在时，可以采用下面的方法。 对于hadoop的hdfs根目录文件不存在，你需要建一个/user/你的用户名/hadoop/input结构的文件夹 命令是 ./bin/hadoop fs －mkdir －p /user/你的用户名/hadoop ./bin/hadoop fs -mkdir input ...
Hadoop windows本地环境安装
m0_61083409的博客
04-18 1296
hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。 一、下载所需文件 JDK下载地址，jdk1.8下载 Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。 Hadoop windows环境编译工具，winutils下载 ，下载后解压出来 二、安装文件 jdk安装，jdk安装并不复杂，这里就不详细介绍了，我的安装目录是 C:Program FilesJavajdk1.8.0_151 hadoop安装，由于下载的
执行hdfs dfs -mkdir input时弹出mkdir: `hdfs://localhost:9000/user/root‘: No such file or directory的解决方法
seamoon的博客
05-19 1947
执行hdfs dfs -mkdir input时弹出mkdir: `hdfs://localhost:9000/user/root': No such file or directory的解决方法。
hadoop操作出现：9000 failed on connection exception java.net.ConnectException拒绝访问（已解决）
begefefsef的博客
04-03 8993
准备查看haddop上的文件，输入： hadoop fs -ls / 出现了： ls: Call From yx/127.0.1.1 to 0.0.0.0:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 显示9000端口拒绝访问 从配置文件可以知道，hadoop访问本机
如何在公司中的环境中查看到类似hdfs://localhost:9000/user/hadoop的地址
最新发布
Matrix70的博客
06-16 1049
然后你可以使用这个地址与目标HDFS进行交互。目录下的文件，需要执行以下命令。基本上查看文件的时候都直接。
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
01-07
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/...
【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
01-07
【kettle集成cdh6.1】外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记 前言 最近试着上手了一下kettle，搭建过程很简单，就是下载个包解压一下，但是在配置数据源的过程中着实踩了不少坑，这里记录一下。...
spark-csvconverter:使用spark在hdfs上转换csv文件的java代码简单示例
06-18
则在运行转换之前删除输出文件夹作者使用maven编译： mvn package跑步： java -cp "HdfsCsvConverter.jar:/path/to/spark-assembly-1.1.1-hadoop2.4.0.jar" \ hdfs.csvconvert.Converter \ [-master spark://xxxxx:...
记hadoop伪分布式部署中的HDFS进程未启动的解决办法
zhikanjiani的博客
06-30 1342
一、配置都是照着官网配置的： vi /etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> //可以修改为自...
Hadoop Output directory hdfs://localhost:9000/input already exists
D1124615130的博客
05-22 5387
首先我的主类是放在com.test包下， 运行hadoop jar WordCount.jar WCRunner /input /output时，WCRunner应该写全类名com.test.WCRunner，但我没有，导致报错找不到主类，以为是要打jar包时指定主类，于是我在eclipse打包时指定了主类，再次运行就遇到这个错误，看了好几篇博客都不能解决这个问题。 ``java Output directory hdfs://localhost:9000/input already exists 解决办法
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2818
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.ConnectException
larntin
11-26 4853
今天启动自己编译好的的hadoop2.5.2[ubuntu12.04 x86]，在执行hadoop dfsadmin -report之后遇到如下错误： report: Call From java.net.UnknownHostException: ubuntu-larntin: ubuntu-larntin to localhost:9000 failed on connection exce
Call From ... to localhost:9000 failed on connection exception: java.net.ConnectE 问题解决
JdiLfc的博客
11-22 5094
修改虚拟机上的/etc/hosts 将这两行删除 在使用eclipse时的DFS Master中的host改成ip地址!
Hadoop运行问题：Exception in thread "main" java.net.ConnectException: Call From node1/10.39.0.124 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused;
06-10
这是一个关于 Hadoop 的错误信息，意思是客户端连接到 Hadoop 的 NameNode 失败。NameNode 是 Hadoop 集群中的一个重要组件，负责管理 HDFS 文件系统的元数据，包括文件名称、副本数量、文件权限等信息。当客户端需要读写 HDFS 文件时，需要先连接到 NameNode 获取文件的位置信息，然后才能进行操作。 在这个错误信息中，node1/10.39.0.124 表示客户端所在机器的主机名和 IP 地址，localhost:9000 表示客户端尝试连接到的 NameNode 地址和端口号。连接失败的原因是 Connection refused，即连接被拒绝。 这个错误通常是由于 NameNode 没有启动或者端口号配置不正确造成的。如果你遇到了这个问题，可以检查 NameNode 是否已经启动，以及配置文件中 NameNode 的地址和端口号是否正确。另外，还需要确保客户端和 NameNode 在网络上能够互相访问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值