Hadoop-3.1.2完全分布式环境搭建（Windows 10）

Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。

　　首先，步骤：

　　①　准备安装包和工具：

• • 　　hadoop-3.1.2.tar.gz
  • 　　jdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）
  • 　　CertOS-7-x86_64-DVD-1810.iso（CentOS镜像）
  • 工具：WinSCP（用于上传文件到虚拟机），SecureCRTP ortable（用于操作虚拟机，可复制粘贴Linux命令。不用该工具也可以，但是要纯手打命令），VMware Workstation Pro

　　②　安装虚拟机：本人使用的是VMware Workstation Pro，需要激活。（先最小化安装一个虚拟机Master，配置完Hadoop之后再克隆两个Slave）

　　③　配置虚拟机：修改用户名，设置静态IP地址，修改host文件，关闭防火墙，安装Hadoop，安装JDK，配置系统环境，配置免密码登录（必要）。

　　④　配置Hadoop：配置hadoop-env.sh，hdfs-site.xml，core-site.xml，mepred-site.xml，yarn-site.xml，workers文件（在Hadoop-2×中是slaves文件，用于存放从节点的主机名称，或者IP地址）

　　⑤　克隆虚拟机：克隆两个Slave，主机名称分别是Slave1，Slave2。然后修改Slave的Hadoop配置。

　　⑥　namenode格式化：分别对Master、Slave1，Slave2执行hadoop namenode -format命令。

　　⑦　启动hdfs和yarn：在Master上执行start-all.sh命令。待启动完成之后，执行jps命令查看进程，应包含namenode,secondarynamenode,resourcemaneger三个进程。Slave上有datanode，nodemanager进程。

　　⑧　检查测试：先修改真实主机的host（IP地址与Master的映射）在浏览器中输入Master:9870回车，进入hdfs，点击上方datanode应该可以看到下面有两个节点；输入Master:8088回车，进入资源调度管理（yarn）

好了，开始吧。二、准备工具

　　hadoop-3.1.2.tar.tz下载地址：http://mirror.bit.edu.cn/apache/ ... hadoop-3.1.2.tar.gz

　　jdk-8u221-linux-x64.tar.gz下载地址：https://www.oracle.com/technetwo ... nloads-2133151.html

　　CentOS下载地址：http://isoredirect.centos.org/ce ... x86_64-DVD-1810.iso

　　WinSCP下载地址:　https://winscp.net/eng/download.php

　　SecureCRTP ortable下载地址:　http://fs2.download82.com/softwa ... able/scrt675_u3.exe

　　VMware Workstation Pro下载地址：http://download3.vmware.com/soft ... 15.1.0-13591040.exe

　　附VMware Workstation Pro秘钥：

　　YG5H2-ANZ0H-M8ERY-TXZZZ-YKRV8

　　UG5J2-0ME12-M89WY-NPWXX-WQH88

　　UA5DR-2ZD4H-089FY-6YQ5T-YPRX6

三、安装虚拟机

　　此步略，详情之后发布

四、配置虚拟机　　1.修改用户名：[size=1em]

hostnamectl --static set-hostname Master

　　2.设置静态IP地址

　　首先查看一下原本自动获取到的网关和DNS，记下来

[size=1em][color=blue !important][size=1em]

[color=blue !important]+ View Code

[size=1em]

1   2   3   4

[root@Master ~]# IP routing table Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface default