hadoop namenode启动不了 浏览器无法访问

最新推荐文章于 2022-10-29 17:22:29 发布
最新推荐文章于 2022-10-29 17:22:29 发布
阅读量8.1k 收藏 16
点赞数 2
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38107930/article/details/103690362
版权

最近在学hadoop，记录一下遇到的坑，基本上是配置文件的问题，导致节点起不起来

使用sbin/hadoop-daemon.sh start namenode启动hadoop显示

WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

说是不赞成使用这个命令启动namanode，尝试替换成 hdfs --daemon start 的方式
虽然不知道什么意思，那就先执行一下吧

使用bin/hdfs namenode报错

2019-12-24 21:37:15,709 ERROR namenode.NameNode: Failed to start namenode.
java.net.SocketException: Call From hadoop101 to null:0 failed on socket exception: java.net.SocketException: Unresolved address; For more details see:  http://wiki.apache.org/hadoop/SocketException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:833)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:800)
        at org.apache.hadoop.ipc.Server.bind(Server.java:620)
        at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:1184)
        at org.apache.hadoop.ipc.Server.<init>(Server.java:3066)
        at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:1039)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:426)
        at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:347)
        at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:848)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.<init>(NameNodeRpcServer.java:460)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createRpcServer(NameNode.java:799)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:713)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:953)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:926)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1692)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
Caused by: java.net.SocketException: Unresolved address
        at sun.nio.ch.Net.translateToSocketException(Net.java:131)
        at sun.nio.ch.Net.translateException(Net.java:157)
        at sun.nio.ch.Net.translateException(Net.java:163)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:76)
        at org.apache.hadoop.ipc.Server.bind(Server.java:603)
        ... 13 more
Caused by: java.nio.channels.UnresolvedAddressException
        at sun.nio.ch.Net.checkAddress(Net.java:101)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:218)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        ... 14 more
2019-12-24 21:37:15,713 INFO util.ExitUtil: Exiting with status 1: java.net.SocketException: Call From hadoop101 to null:0 failed on socket exception: java.net.SocketException: Unresolved address; For more details see:  http://wiki.apache.org/hadoop/SocketException
2019-12-24 21:37:15,715 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

jps检查namenode没成功启动，错误大概就是hadoop101这个地址找不到

vim etc/hadoop/hdfs-site.xml添加web地址

<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop101:50070</value>
</property>

再次启动报错

java.net.SocketException: Unresolved address
        at sun.nio.ch.Net.translateToSocketException(Net.java:131)
        at sun.nio.ch.Net.translateException(Net.java:157)
        at sun.nio.ch.Net.translateException(Net.java:163)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:76)
        at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
        at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)
        at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1205)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1236)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1299)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1154)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:181)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:885)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:707)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:953)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:926)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1692)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
Caused by: java.nio.channels.UnresolvedAddressException
        at sun.nio.ch.Net.checkAddress(Net.java:101)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:218)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        ... 13 more
2019-12-24 21:58:48,999 INFO impl.MetricsSystemImpl: Stopping NameNode metrics system...
2019-12-24 21:58:49,000 INFO impl.MetricsSystemImpl: NameNode metrics system stopped.
2019-12-24 21:58:49,000 INFO impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2019-12-24 21:58:49,000 ERROR namenode.NameNode: Failed to start namenode.
java.net.SocketException: Unresolved address
        at sun.nio.ch.Net.translateToSocketException(Net.java:131)
        at sun.nio.ch.Net.translateException(Net.java:157)
        at sun.nio.ch.Net.translateException(Net.java:163)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:76)
        at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
        at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)
        at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1205)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1236)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1299)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1154)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:181)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:885)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:707)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:953)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:926)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1692)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
Caused by: java.nio.channels.UnresolvedAddressException
        at sun.nio.ch.Net.checkAddress(Net.java:101)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:218)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        ... 13 more
2019-12-24 21:58:49,001 INFO util.ExitUtil: Exiting with status 1: java.net.SocketException: Unresolved address
2019-12-24 21:58:49,005 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

说是地址未解析，就是不知道hadoop101是什么ip地址，所以在服务器上加一下解析
vim /etc/hosts将hadoop101添加到127.0.0.1上
重启/etc/init.d/network restart` 再次运行sbin/hdfs namenode``成功没报错 jps发现namenode还是没启动（不知道这个命令为啥起不来）
再次运行sbin/hadoop-daemon.sh start namenodenamenode启动成功

网页访问hadoop101:50070,失败
vim etc/hadoop/hdfs-site.xmlweb地址 修改为

<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop101:50070</value>  <!-- 不行可以写=试试0.0.0.0:50070  任意节点，可能是其他地方节点没配好 ->
</property>

重启 再次访问 成功

同样 要yarn的网址hadoop101:8088也要在yarn-size.xml中添加

<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>hadoop101:8088</value>
</property>

最后浏览器访问 http://hadoop101:50070 成功进入到hadoop主页面

smilev8
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop+Zookeeper实现hadoop高可用
cxu123321的博客
10-27 1608
Hadoop+Zookeeper实现hadoop高可用 Breeze_pi 一、zookeeper高可用 实验环境：在上一章的基础上增添高可用节点server5，server5同样使用nfs文件系统共享server1的文件 在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于 Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作; 而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
weixin_33207551的博客
02-20 2万+
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1 遇到这个错误  就去看hostname的名称 是否和 /etc/hosts中的ip是否配的一致，如果没有的话，就修改下 需要重启网络 如果是mac的话 命令如下 网卡的启动与关闭：ifconfig en0 up/down   但是有情况出现  我发现这种情况是正常现象...
安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at xxx并不一定是namenode格式化失败
weixin_42069087的博客
06-04 9343
在第一次安装hadoop集群环境时，很多教程会有说 所以在输入# bin/hdfs namenode -format后，整个日志的最后会出现 也就认为是自己操作出问题了。BUT！！！信息中隐藏着 也就是说，其实操作是正确的。一定要细心看内容！ 博主因为这个忽略整整忙活了一天，然而都是白忙活。望以此为戒，初学者们都安装顺利 ...
安装hadoop中启动namenode、datanode有警告
qq_29579431的博客
12-24 6512
在安装hadoop3.1.3过程中启动namenode和datanode时使用./hadoop-daemon.sh start namenode有警告提示 $ ./hadoop-daemon.sh start namenode WARNING: Use of this script to start HDFS daemons is deprecated. WARNING: Attempting t...
Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
简单-生活
03-12 3万+
刚配置Hadoop2.7.1 格式化namenode时报出这个这个错误 /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx: xxx: Name or service not
解决：ERROR: Cannot set priority of datanode process 10603
数据开发探索者
10-29 4443
datanode 启动解决
Hadoop windows启动文件
01-24
可以通过浏览器访问`http://localhost:50070`和`http://localhost:8088`来监控Hadoop集群的状态。 8. **运行测试程序**：为了验证Hadoop安装成功，可以运行一个简单的WordCount程序。将示例输入文件放入HDFS，然后...
HadoopLearning：启动Hadoop
02-11
启动Hadoop服务包括启动DataNode、NameNode、ResourceManager、NodeManager等组件。在Linux环境下，可以使用`start-dfs.sh`和`start-yarn.sh`脚本启动HDFS和YARN。在Windows上，通过命令行工具执行相应命令。 6. *...
win安装部署hadoop3.0.0并启动上传文件到HDFS(博文相关代码)
04-27
打开浏览器，访问`http://localhost:50070`查看NameNode的状态，`http://localhost:8088`查看ResourceManager的状态。 5. **HDFS操作**： - 使用Hadoop的命令行工具`hadoop fs`，可以进行文件上传、下载和目录...
Hadoop Windows系统安装包 和 winutils的文件
最新发布
01-09
8. **验证安装**：启动成功后，你可以通过浏览器访问`http://localhost:50070`和`http://localhost:8088`来查看NameNode和ResourceManager的状态。同时，运行`hadoop fs -ls /`命令检查HDFS是否正常工作。 在...
Win10上操作Hadoop的hadoop2.7.4.rar
07-08
- 通过浏览器访问`http://localhost:50070`，查看NameNode的状态和文件系统信息。 - 访问`http://localhost:8088`，监控YARN的任务运行情况。 以上就是在Win10环境下，使用Eclipse进行Hadoop 2.7.4集群的搭建、...
hadoop(八)集群namenode启动ssh免密登录(完全分布式五)|10
dingxiaohuang4790的博客
09-17 620
前置章节：hadoop集群配置同步（hadoop完全分布式四）|10 启动namenode之前： 1.先查看有无节点启动，执行jps查看，有的话停掉 [shaozhiqi@hadoop102 ~]$ jps 10566 Jps [shaozhiqi@hadoop102 ~]$ 2.删除每个机器上之前运行的data和logs文件 启动namenode 格式化name...
Hadoop从搭建环境到运行(集群建立)
zw沐知的博客
07-06 521
配置hadoop 本节内容全部搬运官网 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 解压缩下载的Hadoop发行版。在分发版中，编辑etc/hadoop/hadoop-env.sh文件，定义如下参数 以下所有命令要在hadoop安装的文件夹里执行 etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.
java.net.SocketException四大异常解决方案
热门推荐
hzp666的博客
07-22 8万+
转载：点击打开链接 第1个异常是 java.net.BindException:Address already in use: JVM_Bind。 该异常发生在服务器端进行new ServerSocket(port)（port是一个0，65536的整型值）操作时。异常的原因是以为与port一样的一个端口已经被启动，并进行监听。此时用netstat –an命令，可以看到一个Listending状...
解决Hadoop无法启动JobHistoryServer
大佛拈花的博客
03-01 1万+
gosaint@gosaint:/usr/local/hadoop$ sbin/mr-jobhistory-daemon.sh start ==== 出现如下问题: WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replace...
Hadoop学习-错误记录：namenode、datanode、secondarynamenode未启动
摘果子的人的博客
09-02 1347
1、在ubuntu 16.04系统中，采用伪分布配置，在账户A上启动hadoop 2.7.3失败，namenode、datanode、secondarynamenode未启动，查看hadoop-hadoop-namenode-ubuntu.log，错误信息如下： 2017-09-02 02:33:30,597 INFO org.apache.hadoop.http.HttpServer2: Htt
linux下搭建hadoop-1.2.1
zhengfushijie的专栏
08-13 500
Hadoop的代码可以到Apache上下载，链接为http://archive.apache.org/dist/hadoop/core/hadoop-0.19.0/，我使用的Linux机器是ubuntu12.10，Linux上安装的Java版本为1.7.0_51，并且JAVA_HOME=/usr/java/jdk1.7.0_51。   实践过程   1、ssh无密码验证登陆localhos
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
码农UP2U
10-27 1万+
在使用 hadoop namenode -format 格式化 NameNode 时，提示如下错误： SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx 网上提示，需要让 hostname 和 /etc/hosts 下的 主机名 与 ip 地址对应，即 xxx 和 xxx.xxx.xxx.xxx 进行对应。在我本地两者是对应的，后来发现，在输出中有这么一句提示信息，如下图。 只要是提示 succ...
DEPRECATED: Use of this script to execute hdfs command is deprecated.
菜鸟码农升职记
05-05 2902
文章转自： http://blog.itpub.net/28254374/viewspace-746581/ 本人安装的hadoop版本是0.21.0的，但每次执行命令时都会显示下面的信息   [hadoop@master hadoop]$ hadoop dfs -ls DEPRECATED: Use of this script. to execute
怎么启动namenode
04-24
要启动namenode，您需要执行以下步骤： 1.进入Hadoop安装目录的sbin文件夹。 2.运行start-dfs.sh脚本。这会启动Hadoop分布式文件系统。 3.运行start-yarn.sh脚本。这会启动Yarn资源管理器。 4.运行mr-jobhistory-daemon.sh start historyserver命令。这会启动作业历史记录服务器。 5.现在，您可以通过在浏览器中输入http://localhost:50070/来访问Hadoop namenode Web UI，并检查namenode是否正在运行。 请注意，这些步骤可能会因您的Hadoop版本和操作系统而异。建议参考Hadoop官方文档或相关论坛寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值