Hadoop | 集群配置（四）启动测试完全分布式集群 | 编写 Shell 脚本一键启动集群 | Hadoop 集群常用脚本

参考资料

---

视频资料

运行环境

---

• windows10
• CentOS 7 虚拟机
• JDK8
• Hadoop3.1.3
• 3个集群节点

一、集群的不同启动方式

---

1.1 各模块分开启动（常用）

（1）各个模块分开启动/停止（配置ssh是前提）常用

• 整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

1.2 各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

二、启动Hadoop集群

基于上一篇文章记录：Hadoop | 集群配置（三）| 完全分布式集群规划 | 配置详情 ，现进行集群的启动测试，首先回顾一下集群中各节点的角色：

	hadoop101	hadoop102	hadoop103
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode
YARN	NodeManager	ResourceManager 、NodeManager	NodeManager

现在进行集群测试

2.1 配置Hadoop的系统环境变量

配置系统环境变量的目的是为了能在任何位置使用到所配置目录下的一些命令，同时在hadoop生态中也有些程序会用到环境变量，通常以xxx_HOME的形式，首先需要定义全局的变量，然后在赋值给PATH系统变量。

接下来是配置的命令：

vim /etc/profile.d/home.sh

配置的内容如下：

#JDK8 
export JAVA_HOME=/opt/java/jdk8
export PATH=$PATH:$JAVA_HOME/bin/

# Hadoop 3.1.3
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

接着 :wq 保存退出，使配置文件生效的命令如下：

source /etc/profile

配置完成后就可以在任意位置使用hadoop目录下sbin和bin文件里的命令了。

集群中的其他所有节点也需要配置环境变量，这里可以使用之前设置的分发脚本[参考]实现

xsync /etc/profil.d/home.sh

但是分发过后仍然需要手动执行 source /etc/profile 才行

2.2 初始化名称节点

这一步只在安装配置好Hadoop后首次执行，且