hadoop 搭建3节点集群,遇到Live Nodes显示为0时解决办法

首先,尼玛哥在搭建hadoop 的3节点集群时,安装基本的步骤,配置好以下几个文件

  1. core-site.xml
  2. hadoop-env.sh
  3. hdfs-site.xml
  4. yarn-env.sh
  5. yarn-site.xml
  6. slaves

之后就是格式化NameNode节点,

[root@spark1 hadoop]# hdfs namenode -format

启动hdfs集群

[root@spark1 hadoop]# start-dfs.sh

查询各个节点是否运行成功。
spark1 :

[root@spark1 hadoop]# jps
5575 SecondaryNameNode
5722 Jps
5443 DataNode
5336 NameNode

spark2:

[root@spark2 hadoop]# jps
1859 Jps
1795 DataNode

spark3:

[root@spark3 ~]# jps
1748 DataNode
1812 Jps

尼玛哥的集群搭建过程核心文件配置没问题,可是,就是在使用50070端口检测的时候,显示livenode为1 ,而且只是spark1 !

于是,经过对问题的排查,发现,最终因为前期配置/etc/ hosts 的时候,配置分别为:

spark1:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.111  spark1

spark2:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.112  spark2

spark3:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.113  spark3

现在,统一改为:


127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.113  spark3
192.168.30.111  spark1
192.168.30.112  spaqk2

ok ,问题得到解决
利用 代码 :

[root@spark1 hadoop]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Configured Capacity: 55609774080 (51.79 GB)
Present Capacity: 47725793280 (44.45 GB)
DFS Remaining: 47725719552 (44.45 GB)
DFS Used: 73728 (72 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)

Live datanodes:
Name: 192.168.30.111:50010 (spark1)
Hostname: spark1
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2628579328 (2.45 GB)
DFS Remaining: 15907987456 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.82%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:06 CST 2017


Name: 192.168.30.113:50010 (spark3)
Hostname: spark3
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2627059712 (2.45 GB)
DFS Remaining: 15909507072 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.83%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:05 CST 2017


Name: 192.168.30.112:50010 (spark2)
Hostname: spark2
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2628341760 (2.45 GB)
DFS Remaining: 15908225024 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.82%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:05 CST 2017

代码部分,可以看出,连接的datanode 为3个。
分别为 192.168.30.111
192.168.30.112
192.168.30.113

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
搭建Hadoop服务器集群过程中,可能会遇到一些常见问题。以下是一些可能出现的问题及相应的解决办法: 1. 网络连接问题:确保集群中的服务器能够相互通信,检查网络配置、防火墙设置等。可以通过ping命令检查服务器之间的连通性。 2. SSH连接问题:如果无法通过SSH进行免密登录,可以检查SSH配置、密钥文件等。确保每台服务器的SSH服务正常运行,并且公钥已正确配置。 3. Java环境问题:如果Hadoop无法找到Java环境,可以检查Java的安装路径和环境变量设置。确保每台服务器上都正确安装了适合的Java Development Kit (JDK)。 4. Hadoop配置问题:在编辑Hadoop的配置文件,可能会出现错误的配置或格式不正确导致集群无法正常启动。建议仔细检查配置文件的语法和参数设置,可以参考官方文档或其他资源进行正确配置。 5. HDFS格式化问题:在格式化HDFS,可能会遇到权限或文件系统错误导致格式化失败。确保有足够的权限执行格式化操作,并且没有其他进程占用HDFS的相关目录。 6. 资源分配问题:如果集群中的节点无法正常分配资源或任务无法运行,可以检查资源管理器(如YARN)的配置和日志,确保资源分配策略和配置正确。 7. 集群安全问题:如果需要启用Hadoop的安全功能(如Kerberos认证),可能会遇到配置和认证问题。在启用安全功能前,建议详细阅读相关文档,并按照指导进行正确配置。 8. 高可用性配置问题:如果需要实现Hadoop集群的高可用性,配置过程可能会较为复杂。建议仔细阅读相关文档,并按照指导进行正确配置,包括故障转移、备份节点等。 9. 日志和错误排查:在搭建过程中,如果遇到问题,可以查看Hadoop的日志文件和错误信息,以便更好地定位问题。可以通过日志来分析异常、错误和警告信息,并尝试解决或定位问题。 以上是一些常见的问题及解决办法,具体的问题和解决方案可能会因环境和配置的不同而有所差异。在遇到问题,可以参考官方文档、社区论坛或其他相关资源,进行更详细的排查和解决。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Will-kkc

您的鼓励将成为我继续写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值