Hadoop(4-2) Exception inthread “main“ java

最新推荐文章于 2024-10-06 20:16:20 发布

2401_85958150

最新推荐文章于 2024-10-06 20:16:20 发布

阅读量658

点赞数 11

文章标签： hadoop java 大数据

本文链接：https://blog.csdn.net/2401_85958150/article/details/141390658

版权

at org.apache.hadoop.hdfs.DistributedFileSystem $24. d o C a ll (D i s t r ib u t e d F i l e S ys t e m . ja v a : 1185) a t or g . a p a c h e . ha d oo p . f s . F i l e S ys t e m L ink R eso l v er . reso l v e (F i l e S ys t e m L ink R eso l v er . ja v a : 81) a t or g . a p a c h e . ha d oo p . h df s . D i s t r ib u t e d F i l e S ys t e m . l i s tSt a t u s (D i s t r ib u t e d F i l e S ys t e m . ja v a : 1195) a t or g . a p a c h e . ha d oo p . f s . F i l e S ys t e m . l i s tSt a t u s (F i l e S ys t e m . ja v a : 2078) a t or g . a p a c h e . ha d oo p . f s . F i l e S ys t e m . l i s tSt a t u s (F i l e S ys t e m . ja v a : 2122) a tM er g e F i l e . d o M er g e (M er g e F i l e . ja v a : 39) a tM er g e F i l e . main (M er g e F i l e . ja v a : 65) C a u se d b y : ja v a . n e t . C o nn ec tE x ce pt i o n : C o nn ec t i o n re f u se d a t ja v a . ba se / s u n . ni o . c h . S oc k e tC hann e l I m pl . c h ec k C o nn ec t (N a t i v e M e t h o d) a t ja v a . ba se / s u n . ni o . c h . S oc k e tC hann e l I m pl . f ini s h C o nn ec t (S oc k e tC hann e l I m pl . ja v a : 777) a t or g . a p a c h e . ha d oo p . n e t . S oc k e t I O Wi t h T im eo u t . co nn ec t (S oc k e t I O Wi t h T im eo u t . ja v a : 205) a t or g . a p a c h e . ha d oo p . n e t . N e t U t i l s . co nn ec t (N e t U t i l s . ja v a : 600) a t or g . a p a c h e . ha d oo p . i p c . Cl i e n t$ Connection.setupConnection(Client.java:652)
   at org.apache.hadoop.ipc.Client $C o nn ec t i o n . se t u p I O s t re am s (Cl i e n t . ja v a : 773) a t or g . a p a c h e . ha d oo p . i p c . Cl i e n t$ Connection.access$3800(Client.java:347)
   at org.apache.hadoop.ipc.Client.getConnection(Client.java:1632)
   at org.apache.hadoop.ipc.Client.call(Client.java:1457)

namenode格式化正常，集群启动一切正常的情况下，在使用IDEA执行HDFS时间却出现上面的错误。

集群启动的方法可以参考 Hadoop(02) Hadoop-3.3.6 集群的配置教程 Hadoop-3.3.6 集群的配置教程") 中第五小节中的集群启动部分。

最后可以使用jps查看服务是否都启动成功了。

解决思路

方法一

hadoop jar /usr/local/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 5 10

说明：命令运行了一个名为"pi"的示例作业，用于计算Pi的近似值。作业参数为5和10，表示将使用5个Mapper和每个Mapper处理10个样本。

如果这一步有问题，可以参考资料： hadoop运行程序时报错java.net.ConnectException: java.net.ConnectException: 拒绝连接；_hadoop connectexception: call from n01/192.168.3.1-CSDN博客

来解决。

方法二

执行代码：

hadoop fs -ls hdfs://localhost:9000

发现和IDEA控制台中同样地报错信息。

查看9000端口的监听地址：

netstat -anp | grep 9000

发现端口监听IP为192.168.30.134，是服务器（虚拟主机hadoop01）的IP，再查看下core-site.xml

cd /usr/local/hadoop-3.3.6/etc/hadoop/
cat core-site.xml

配置文件里面HDFS主机IP是hadoop01而不是127.0.0.1（localhost），所以当我们访问127.0.0.1:9000的时候会被拒绝，因为我们在做映射文件的时候hadoop01 对应的是192.168.30.134，而 localhost 对应的是 127.0.0.1，所以当我们访问localhost:9000时，会被拒绝。