HDFS和YARN的HA集群搭建（Hadoop-2.8.1+Zookeeper-3.4.6）

一.软件版本

组件名称	版本	备注即下载地址
Centos	7.2 (Final) 64-bit	lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数
JRE	"1.8.0_45"	http://www.360sdn.com/Linux/2014/0610/3568.html
Hadoop	hadoop-2.8.1.tar.gz	hadoop-2.8.1.tar.gz
Zookeeper	zookeeper-3.4.6.tar.gz	热切,Yarn 存储数据使用的协调服务 https://www.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

二.主机规划

IP	host	安装软件	进程
39.97.248.49	ruozedata001	Hadoop、zookeeper	NameNode DFSZKFailoverController JournalNode DataNode ResourceManager JobHistoryServer NodeManager QuorumPeerMain
39.97.234.87	ruozedata002	Hadoop、zookeeper	NameNode DFSZKFailoverController JournalNode DataNode ResourceManager NodeManager QuorumPeerMain
39.97.232.77	ruozedata003	Hadoop、zookeeper	JournalNode DataNode NodeManager

 

三.目录规划

hadoop
    app    最终软件安装的目录
    data  测试数据
    lib   开发的jar
    maven_repos  Maven本地仓库
    software  软件
    script  脚本  flume  hive project
    source  源码
    tmp  临时文件夹

四.常用脚本及其命令
1.启动集群

[hadoop@ruozedata001 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[hadoop@ruozedata002 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[hadoop@ruozedata003 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh start
[hadoop@ruozedata001 ~]# $HADOOP_HOME/sbin/start-all.sh
[hadoop@ruozedata002 ~]# $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
[hadoop@ruozedata001 ~]# $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

2.关闭集群

[hadoop@ruozedata001 ~]# $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@ruozedata002 ~]# $HADOOP_HOME/sbin/yarn-daemon.sh stop resourcemanager
[hadoop@ruozedata001 ~]# $HADOOP_HOME/sbin/stop-all.sh
[hadoop@ruozedata001 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh stop
[hadoop@ruozedata002 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh stop
[hadoop@ruozedata003 ~]# $ZOOKEEPER_HOME/bin/zkServer.sh stop

3.hdfs高级命令

[hadoop@ruozedata001 hadoop]$ hdfs haadmin
Usage: DFSHAAdmin [-ns <nameserviceId>]
    [-transitionToActive <serviceId> [--forceactive]]
    [-transitionToStand