1、hadoop集群完成以下相关的配置:
a、安装jdk,并添加JAVA_HOME环境变量,在linux环境下可以使用yum安装jdk;
b、配置两个namenode节点、自动容错与集群其它节点之间的SSH互信;
c、可下载hadoop源码在本地编译,也可直接应用编译好的bin包;
d、在hadoop home的etc/hadoop/conf目录下填写以下配置文件:
core-site.xml hdfs-site.xml hadoop-env.sh mapred-site.xml yarn-site.xml slaves 共六个文件
2、完成上述配置之后,依照下面的步骤启动集群:
(仅作为我使用start-dfs.sh启动时报错做单独启动的记录)
a、在主namenode上执行如下命令,初始化zkfc:
bin/hdfs zkfc -formatZK
b、逐一启动journalnode节点:
sbin/hadoop-daemon.sh start journalnode
c、在active的namenode上执行如下命令:
bin/hdfs namenode -format (并不是每次必须执行)
注:格式化namenode,只需集群第一次启动执行一次切完成之后将元数据复制到另一个namenode上
sbin/hadoop-daemon.sh start namenode
d、启动standby的namenode:
bin/hdfs namenode -bootstrapStandby
注:这一步是同步active的数据到standby
sbin/hadoop-daemon.sh start namenode
e、至此两台namenode已经启动完毕,在active的namenode上启动zkfc:
sbin/hadoop-daemon.sh start zkfc
f、选择一台namenode,启动所有的datanode:
sbin/hadoop-daemons.sh start datanode
后期这个问题如果处理了我就及时补上问题的处理办法,目前先将集群运行起来!