启动hadoop集群没有SecondaryNode和DataNode和NameNode的解决方案

2 篇文章 0 订阅
2 篇文章 0 订阅

目录

一. 没有SecondaryNode的解决方案

二. 没有DataNode的解决方案

 三. 没有NameNode的解决方案


 进行以下操作时别忘记先关闭Hadoop集群

一. 没有SecondaryNode的解决方案

启动hadoop集群后没有SecondaryNode:

给hadoop集群配置环境变量时,在node1、node2、node3修改/etc/profile 忘记执行source /etc/profile生效

 source /etc/profile

 启动Hadoop集群再jps检查进程

# 一键启动hdfs集群

start-dfs.sh

# 一键关闭hdfs集群

stop-dfs.sh

# 检查进程

jps

 这样就有了SecondaryNode进程

二. 没有DataNode的解决方案

启动hadoop集群后没有DataNode:

 以root用户或权限 删除到Hadoop安装目录下的logs下的所有文件

再删除data下的nn下的所有文件和data下的dn下的所有文件

rm -rf /export/server/hadoop/logs/*

rm -rf /data/nn/* ; rm -rf /data/dn/*

 删除完后记得回到hadoop用户(我是新建了个hadoop用户防止以root用户启动hadoop出现问题)格式化namenode再启动hadoop集群

 

# 格式化namenode

hadoop namenode -format

# 一键启动hdfs集群

start-dfs.sh

# 一键关闭hdfs集群

stop-dfs.sh

 如果不格式化namenode就会出现如下情况(namenode进程未启动)

 

 三. 没有NameNode的解决方案

启动hadoop集群后没有NameNode:

 格式化namenode再启动hadoop集群

 

# 格式化namenode

hadoop namenode -format

# 一键启动hdfs集群

start-dfs.sh

# 一键关闭hdfs集群

stop-dfs.sh

 

 

 至此Hadoop成功启动

  • 6
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
Hadoop集群可以搭建双Namenode,达到高可用性和容错性。下面是搭建双Namenode的步骤: 1. 安装Hadoop集群,参考官方文档。 2. 在Hadoop的主配置文件hdfs-site.xml中,增加以下配置: ``` <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/dfs/name1,file:/hadoop/dfs/name2</value> </property> <property> <name>dfs.namenode.rpc-address.mynamenode1</name> <value>172.16.10.1:9000</value> </property> <property> <name>dfs.namenode.rpc-address.mynamenode2</name> <value>172.16.10.2:9000</value> </property> <property> <name>dfs.namenode.http-address.mynamenode1</name> <value>172.16.10.1:50070</value> </property> <property> <name>dfs.namenode.http-address.mynamenode2</name> <value>172.16.10.2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://mynamenode1:8485;mynamenode2:8485/mycluster</value> </property> ``` 其中,dfs.namenode.name.dir配置了两个Namenode的元数据存储路径;dfs.namenode.rpc-address和dfs.namenode.http-address分别配置了两个Namenode的RPC和HTTP地址;dfs.namenode.shared.edits.dir配置了两个Namenode的编辑日志存储路径。 3. 在每个Namenode节点上,创建元数据存储路径和编辑日志存储路径,并设置权限: ``` $ sudo mkdir -p /hadoop/dfs/name1 /hadoop/dfs/name2 $ sudo chown -R hdfs:hadoop /hadoop/dfs ``` 4. 启动Hadoop集群,格式化HDFS和启动Zookeeper: ``` $ hdfs namenode -format $ start-dfs.sh $ start-yarn.sh $ zkServer.sh start ``` 5. 在一个Namenode节点上,启动JournalNode: ``` $ hadoop-daemon.sh start journalnode ``` 6. 在另一个Namenode节点上,启动Active Namenode: ``` $ hdfs --daemon start namenode ``` 7. 在第三个节点上,启动Standby Namenode: ``` $ hdfs namenode -bootstrapStandby $ hdfs --daemon start namenode ``` 8. 验证双Namenode是否正常工作: ``` $ hdfs haadmin -getServiceState mynamenode1 $ hdfs haadmin -getServiceState mynamenode2 ``` 如果输出为“active”,表示双Namenode正常工作。 以上就是搭建双Namenode的步骤。双Namenode可以提高Hadoop集群的可用性和容错性,但也增加了部署和维护的复杂度。因此,需要根据实际情况选择是否搭建双Namenode
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不染_是非

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值