hadoop HA 集群搭建(3)

最新推荐文章于 2024-03-13 00:49:25 发布

cyclebozhou

最新推荐文章于 2024-03-13 00:49:25 发布

阅读量768

点赞数 2

分类专栏： hadoop 文章标签：集群搭建

本文链接：https://blog.csdn.net/qq_40359681/article/details/79297515

版权

hadoop 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

启动步骤:
2.5启动zookeeper集群（分别在hadoop05、hadoop06、tcast07上启动zk）

        bin/zkServer.sh start
        #查看状态：一个leader，两个follower
        bin/zkServer.sh status

2.6手动启动journalnode（分别在在hadoop05、hadoop06、hadoop07上执行）
hadoop-daemon.sh start journalnode
#运行jps命令检验，hadoop05、hadoop06、hadoop07上多了JournalNode进程
2.7格式化namenode
#在hadoop00上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个hdfs初始化文件，

        把hadoop.tmp.dir配置的目录下所有文件拷贝到另一台namenode节点所在的机器
        scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/

        ##也可以这样，建议hdfs namenode -bootstrapStandby

2.8格式化ZKFC(在active上执行即可)
hdfs zkfc -formatZK

    2.9启动HDFS(在hadoop00上执行)
        start-dfs.sh

    2.10启动YARN   
        start-yarn.sh
        还需要手动在standby上手动启动备份的  resourcemanager
        yarn-daemon.sh start resourcemanager


到此，hadoop-2.6.4配置完毕，可以统计浏览器访问:
    http://hadoop00:50070
    NameNode 'hadoop01:9000' (active)
    http://hadoop01:50070
    NameNode 'hadoop02:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9
通过浏览器访问：http://192.168.1.202:50070
NameNode ‘hadoop02:9000’ (active)
这个时候hadoop02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r–r– 3 root supergroup 1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.201:50070
NameNode ‘hadoop01:9000’ (standby)

验证YARN：
    运行一下hadoop提供的demo中的WordCount程序：
    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

测试集群工作状态的一些指令：

hdfs dfsadmin -report    查看hdfs的各节点状态信息

cluster1n/hdfs haadmin -getServiceState nn1      获取一个namenode节点的HA状态

scluster1n/hadoop-daemon.sh start namenode  单独启动一个namenode进程

./hadoop-daemon.sh start zkfc   单独启动一个zkfc进程