Hadoop——第一部份 Hadoop入门——五、启动集群

五、启动集群

5.1 初始化集群

hdfs namenode -format

5.2 启动集群

1. 查看当前java进程

jps

2. 启动hdfs

start-dfs.sh
#位置在sbin目录下，设好环境变量后可直接启动
#可在任意经过初始化或启动过的节点进行启动

启动后可在“hadoop102:9870”进行浏览器访问

3. 在hadoop103启动yarn

start-yarn.sh
#需要在yarn配置文件规定的位置启动，ResourceManager会在该位置运行

启动后可在“hadoop103:8088”进行浏览器访问

4. 在hadoop102启动历史服务器

mapred --daemon start historyserver
#需要在MapReduce配置文件定义的服务器启动

5. 使用–daemon单独启动进程(动态调整)

• 单独启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

• 启动/停止YARN组件

yarn --daemon start/stop  resourcemanager/nodemanager

• MapReduce组件

mapred --daemon start historyserver

5.3 检验运行

hadoop fs -mkdir /wcinput
hadoop fs -put wcinput/word.txt /wcinput
#上传的数据会存储在任意三台服务器的data目录下
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /wcinput /wcoutput

5.4 集群崩溃后的重置

• 重置会清除全部数据

1. 干掉所有进程
2. 删除所有节点上的data和logs文件夹

rm -r data logs

3. 再次初始化
4. 启动集群

5.5 集群启动脚本

1. 创建脚本

vi ~/bin/hdp.sh

内容如下

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "$HADOOP_HOME/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "$HADOOP_HOME/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ------"
        ssh hadoop102 "$HADOOP_HOME/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ------"
        ssh hadoop102 "$HADOOP_HOME/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "$HADOOP_HOME/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "$HADOOP_HOME/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

2. 赋予执行权限

chmod 751 ~/bin/hdp.sh

3. 分发脚本

synchronize ~/bin/hdp.sh

5.6 集群jps查看脚本

1. 创建脚本

vi ~/bin/jpsall

内容如下

#!/bin/bash

for host in hadoop101 hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

2. 赋予执行权限

chmod 751 ~/bin/jpsall

3. 分发脚本

synchronize ~/bin/jpsall

5.7 使用sh脚本启动和查看集群

hdp.sh start
jpsall
hdp.sh stop