部署全分布模式Hadoop集群

实验环境

本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。

实验步骤及结果

（一）规划部署

（二）准备机器

（三）准备软件环境

1. 配置静态 IP

（1）切换到 root 用户，使用命令“vim /etc/sysconfig/network-scripts/ifcfg-ens33”修改 网卡配置文件，为该机器设置静态 IP 地址。

（2）3 台 CentOS 虚拟机的静态 IP、主机名、域名映射均已修改完毕，用 ping 命令来 检测各节点间是否通讯正常，可按“ctrl+C”组合键终止数据包的发送，成功效果如图

（3）使用命令“java -version”，查看 Java 是否安装配置成功及其版本

（4）ssh的配置

1.生成公钥和私钥。 切换到普通用户lcl下，利用“cd ~”命令切换回到用户 lcl的家目录下，首先 使用命令“ssh-keygen”在家目录中生成公钥和私钥，

2.免密登录及其测试结果

（四）获取和安装 Hadoop

（五）配置全分布模式 Hadoop 集群

（六）关闭防火墙

（七）格式化文件系统

（八）启动和验证 Hadoop

1. 执行命令 start-dfs.sh并且查看jps进程

2. 执行命令 start-yarn.sh并且查看jps进程

3. 执行命令 mr-jobhistory-daemon.sh start historyserver并且查看jps进程

4.HDFS Web UI界面

5.YARN Web UI界面

6.MapReduce Web UI界面

7. 运行第一个MapReduce 程序——WordCount

（九）关闭 Hadoop

mr-jobhistory-daemon.sh

stop historyserver

stop-yarn.sh stop-dfs.sh