Hadoop集群的搭建3（很全面）

Hadoop集群的搭建3（很全面）

该文章用于记录学习过程。多余的话不多说了，如有需要请观看正文。
注：第三篇更新步骤11-13。

实现步骤如下（总）：
（1）将VMWare Pro安装好并激活
（2）配置虚拟机参数
（3）安装CentOS 6.9
（4）虚拟机的克隆
（5）SecureCRT的安装
（6）系统网络配置
（7）SSH服务配置
（8）JDK以及Hadoop环境配置
（9）Hadoop集群配置
（10）格式化文件系统
（11）启动和关闭Hadoop集群
（12）通过UI界面查看Hadoop集群
（13）Hadoop集群初体验和单词统计

       本部分内容及图片均为本人亲自制作，采用一步一截图或者多步一截图方式详细记录了个人的学习和操作过程。

十一、Hadoop集群测试

1.单节点逐个启动和关闭
在主节点上执行指令启动/关闭HDFS NameNode进程；
在每个从节点上执行指令启动/关闭HDFS DataNode进程；
在主节点上执行指令启动/关闭YARN ResourceManager进程；
在每个从节点上执行指令启动/关闭YARN nodemanager进程；
在节点hadoop02执行指令启动/关闭SecondaryNameNode进程。

hadoop01
启动namenode和datanode节点

hadoop-daemon.sh start namaenode
hadoop-daemon.sh start namaenode

启动resourcemanager和nodemanager节点

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start resourcemanager

关闭各个节点

hadoop-daemon.sh stop namaenode
hadoop-daemon.sh stop namaenode
yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop resourcemanager

hadoop02
启动datanode节点

hadoop-daemon.sh start datanode

启动nodemanager节点

yarn-daemon.sh start nodemanager

启动secondarynamenode节点

hadoop-daemon.sh start secondarynamenode

关闭节点

hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager
hadoop-daemon.sh stop secondarynamenode

hadoop03
启动datanode节点

hadoop-daemon.sh start datanode

启动nodemanager节点

yarn-daemon.sh start nodemanager

启动secondarynamenode节点

hadoop-daemon.sh start secondarynamenode

关闭节点

hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager
hadoop-daemon.sh stop secondarynamenode

2.使用脚本一键启动和关闭
在主节点hadoop01上执行指令“start-dfs.sh”或“stop-dfs.sh”启动/关闭所有HDFS服务进程；
在主节点hadoop01上执行指令“start-yarn.sh”或“stop-yarn.sh”启动/关闭所有YARN服务进程；
在主节点hadoop01上执行“start-all.sh”或“stop-all.sh”指令，直接启动/关闭整个Hadoop集群服务。

十二、通过UI命令查看Hadoop运行状态

1.C:\Windows\System32\drivers\etc
hosts文件添加

192.168.15.129 hadoop01
192.168.15.130 hadoop02
192.168.15.131 hadoop03

2.三台虚拟机均关闭防火墙

service iptables stop

3.并禁止防火墙开机启动

chkconfig iptables off

4.打开hdfs集群并进入网页输入hadoop01：50070查看效果

效果图如下：

5.打开yarn集群并进入网页输入hadoop01：8088查看效果

效果图如下：

十三、hadoop集群初体验

※实现单词统计功能

1.虚拟机下创建文件夹

2.使用命令创建一个文件夹，并查看效果

hadoop fs -mkdir -p /wordcount/input

3.将文件word.txt上传到hdsf

hadoop fs -put /export/data/word.txt /wordcount/input

4.找到并运行jar包

cd /export/servers/hadoop-2.7.4/hadoop/mapreduce/

5.将统计结果放到/wordcount/output下

hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input /wordcount/output

6.进入yarn集群UI界面查看进程

7.进入hdfs集群UI界面查看文件

8.下载目标文件并查看统计信息