大数据集群启动相关步骤以及说明

NameNode HA

1. 启动Zookeeper

zkServer.sh start

1. 查看状态（看看该节点是不是leader还是follower）

zkServer.sh status

1. 格式化ZooKeeper集群，目的是在ZooKeeper集群上建立HA的相应节点

hdfs zkfc -formatZK

1. 启动日志程序journalnode（最小3个，最好设置奇数个）

$HADOOP_HOME/sbin/hadoop-daemons.sh start journalnode

1. 格式化NameNode(必须开启JournalNode进程)

hdfs namenode -format

如果不是首次format的话还是把NameNode和DataNode存放数据地址下的数据手动删除一下，否则会造成NameNode ID和DataNode ID不一致

rm -rf /data/hadoop/storage/hdfs/name/* & rm -rf /data/hadoop/storage/hdfs/data/*

（如果是HDFS联盟，即有多个HDFS集群同时工作，则用hdfs namenode -format -clusterId [clusterID]）

1. 把NameNode的数据从hadoop001同步到hadoop002中

hdfs namenode -bootstrapStandby

1. 启动所有的DataNode

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

1. 启动Yarn

$HADOOP_HOME/sbin/start-yarn.sh

1. 在hadoop001,hadoop002启动ZooKeeperFailoverController(这里不用在hadoop003中启动，因为hadoop003这个节点是纯粹的DataNode)

$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc

ResourceManager HA

NameNode HA操作完之后我们可以发现只有一个节点（这里是hadoop001）启动resourcemanager，需要手动启动另外一个节点（hadoop002）的resourcemanager。

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

Hbase HA

1. Hbase 集群启动

$HBASE_HOME/bin/start-hbase.sh

Hive

schematool -initSchema -dbType mysql

//启动HIVE CLI服务
master、slave1：运行nohup hive --service hiveserver2 &

Kafka

//master、slave1切换到kafka的bin目录下
Nohup  ./kafka-server-start.sh config/server.properties &