Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!

Hadoop完全分布式搭建及测试

项目开始前准备工作

1.下载并安装VM workstation pro 15安装包，这里选择：
VMware-workstation-full-15.1.0-13591040.exe
2.下载并安装centos7，这里选择：
CentOS-7-x86_64-Minimal-1810.iso
（这里为minimal，及最小安装包，无图形化界面）
3.准备jdk、hadoop安装包，这里选择：
jdk版本：jdk-12.0.1
hadoop版本：hadoop-2.7.7
4.下载并安装本机与虚拟机的文件传输软件，这里选择：
Filezilla：FileZilla_3.37.0_win32-setup_bundled.exe
FTP：LeapFTP3.0.1.46.exe

搭建过程(hadoop集群)

虚拟机安装

1、下载workstation pro 15，通过centos7镜像文件安装centos7，这里给出安装centos7时的内存分配问题(手动分配内存)

2、装好后，修改内存，因为不需要图形界面，所以分配1024M内存，更改网络适配器为VMnet8（NAT）

3、运行虚拟机，进行网络配置：
1.输入：ip addr可以看到虚拟机网卡叫做ens33
2.输入：ls /etc/sysconfig/network-scripts/看到网卡ip信息的配置文件名叫做ifcfg-ens33

4、配置ifcfg-ens33 配置
输入：cat /etc/sysconfig/network-scripts/ifcfg-ens33查看，可以发现BOOTPROTO=dhcp(动态ip),ONBOOT=yes
**注意：**如果ONBOOT=“no”
需要输入：vi /etc/sysconfig/network-scripts/ifcfg-ens33将ONBOOT=no修改为yes，
如果文件不可修改：
进入root模式，输入：chmod 777 文件名 把文件改为可写状态。
修改完毕后，cat查看文件是否修改成功

ONBOOT是指明在系统启动时是否激活网卡，只有在激活状态的网卡才能去连接网络，进行网络通讯

输入：vi /etc/sysconfig/network-scripts/ifcfg-ens33，进行静态ip设置，修改：BOOTPROTO="static | dhcp”
修改后执行：service network restart

显示“OK”,安装成功。

5、安装成功，执行 yum install net-tools，安装网络工具

输入两个yes：

使用ifconfig命令查询虚拟机ipv4地址：

得到信息：
INET：192.168.241.128（IPADDRESS）
NETMASK：255.255.255.0
BROADCAST：192.168.241.255
还有一个需要用到的信息，GATEWAY，关于GATEWAY的信息，查看虚拟机->编辑->虚拟网络编辑器，选中NAT,NAT设置：

得到
GATEWAY：192.168.241.2

6、编辑ip地址和子网掩码，输入：vi /etc/sysconfig/network-scripts/ifcfg-ens33，在文件末尾添加：

IPADDR: 192.168.241.128
NETMASK：255.255.255.0
GATEWAY：192.168.241.2
BROADCAST：192.168.241.255

修改后执行：service network restart

以上为第一台虚拟机的配置过程，每台虚拟机都应如此，但后续通过克隆虚拟机方式(克隆后需要修改ip地址)，克隆后主机名修改后分别为master、slave01、slave02，不再多加描述。

7、master安装ssh服务(每一台虚拟机)
输入：yum -y install openssh-server

输入：yum -y install openssh-clients（如图显示已经安装）

虚拟机克隆

1、克隆另外两台完全一模一样的虚拟机
克隆master的第一台虚拟机slave01，克隆过程如下：
首先进行拍摄快照





选择完整克隆：
和原始虚拟机完全独立的一个备份，可以脱离原始虚拟机独立使用

虚拟机名称最好不要带中文，防止后续配置出错，以及虚拟机克隆位置最好统一放在一起，点击完成前先在放的位置建一个文件夹，如这里的CentOs7.1（防止克隆后文件散乱），最后点击完成开始克隆（需要等待一会）：

无论是快照还是克隆，都是对虚拟机的一个状态生成了一个镜像，不同的是这个镜像是作为虚拟机的一部分存在还是作为独立的部分存在。
克隆的过程并不影响原始虚拟机，克隆的操作一但完成，克隆的虚拟机就可以脱离原始虚拟机独立存在，而且在克隆的虚拟机中和原始虚拟机中的操作是相对独立的，不相互影响。

2、slave01查看ipv4地址 输入：ifconfig（slove01此处host主机名已改变的原因是，原来ip在后续配置过程中发生变化，故此截图为更改主机名后所截，原图删除）

得到信息：

INET：192.168.241.131
NETMASK：255.255.255.0
BROADCAST：192.168.241.255
GATEWAY：192.168.241.2

出现 127.0.0.1 重复：vi /etc/sysconfig/network-scripts/ifcfg-ens33 将ip地址最后一位改掉，改为192.168.241.131

修改后执行：service network restart

显示“OK”,安装成功。

3、同样的方式克隆第二个虚拟机slave02（过程一样，此处省略）
slove02查看ipv4地址 输入：ifconfig

得到信息：

INET：192.168.241.130
NETMASK：255.255.255.0
BROADCAST：192.168.241.255
GATEWAY：192.168.241.2

出现 127.0.0.1 重复：vi /etc/sysconfig/network-scripts/ifcfg-ens33 将ip地址最后一位改掉，改为192.168.241.130

显示“OK”,安装成功。

以上完成虚拟机的克隆。

三台ip分别为：

master 192.168.241.128
slave01 192.168.241.131
slave02 192.168.241.130

检验

设置完毕，ping 下内网及外网，进行检验：
Master虚拟机ping slave01：

成功。

分别用windows主机ping一下配置好的三台虚拟机，截图如下：
ping 192.168.241.128