hadoop集群的HA使用start-dfs.sh启动总是报错timeout。只能单个启动每个进程的记录

1、hadoop集群完成以下相关的配置:

a、安装jdk,并添加JAVA_HOME环境变量,在linux环境下可以使用yum安装jdk;

b、配置两个namenode节点、自动容错与集群其它节点之间的SSH互信;

c、可下载hadoop源码在本地编译,也可直接应用编译好的bin包;

d、在hadoop home的etc/hadoop/conf目录下填写以下配置文件:

core-site.xml    hdfs-site.xml    hadoop-env.sh   mapred-site.xml   yarn-site.xml   slaves   共六个文件

2、完成上述配置之后,依照下面的步骤启动集群:

       (仅作为我使用start-dfs.sh启动时报错做单独启动的记录

a、在主namenode上执行如下命令,初始化zkfc:

                bin/hdfs zkfc -formatZK

b、逐一启动journalnode节点:

                sbin/hadoop-daemon.sh start journalnode

c、在active的namenode上执行如下命令:

                bin/hdfs namenode -format    (并不是每次必须执行)          

                注:格式化namenode,只需集群第一次启动执行一次切完成之后将元数据复制到另一个namenode上

                sbin/hadoop-daemon.sh start namenode

d、启动standby的namenode:

               bin/hdfs namenode -bootstrapStandby    

               注:这一步是同步active的数据到standby

              sbin/hadoop-daemon.sh start namenode

e、至此两台namenode已经启动完毕,在active的namenode上启动zkfc:

               sbin/hadoop-daemon.sh start zkfc

f、选择一台namenode,启动所有的datanode:

               sbin/hadoop-daemons.sh start datanode

后期这个问题如果处理了我就及时补上问题的处理办法,目前先将集群运行起来!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值