Hadoop：完全分布式搭建

此集群三个节点基于三台虚拟机（hadoop01、hadoop02、hadoop03）进行搭建，虚拟机安装的操作系统为Centos6.5，Hadoop版本选取为2.9.1。

实验过程

1、基础集群的搭建

下载并安装VMware WorkStation Pro，链接：https://pan.baidu.com/s/1rA30rE9Px5tDJkWSrghlZg 密码：dydq

下载CentOS镜像或者Ubuntu镜像都可，可以去官网下载，我这里使用的Centos6.5。

使用VMware安装linux系统，制作三台虚拟机。

2、集群配置

设置主机名：

vi /etc/sysconfig/network  

修改内容：
HOSTNAME=hadoop01

三台虚拟机主机名分别为：hadoop01、hadoop02、hadoop03

修改hosts文件：

vi /etc/hosts

内容：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.216.15  www.hadoop01.com  hadoop01
192.168.216.16  www.hadoop02.com  hadoop02
192.168.216.17  www.hadoop03.com  hadoop03

 注意：三台虚拟机都做此操作

网络环境配置:

vi /etc/sysconfig/network-scripts/ifcfg-eth0

示例内容：
DEVICE=eth0
HWADDR=00:0C:29:0F:84:86
TYPE=Ethernet
UUID=70d880d5-6852-4c85-a1c9-2491c4c1ac11
ONBOOT=yes
IPADDR=192.168.216.111
PREFIX=24
GATEWAY=192.168.216.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NM_CONTROLLED=yes
BOOTPROTO=static
DEFROUTE=yes
NAME="System eth0"

hadoop01：192.168.216.15

hadoop02：192.168.216.16

hadoop03：192.168.216.17

 

设置完后，可以通过ping进行网络测试

注意事项：通过虚拟机文件复制，可能会产生网卡MAC地址重复的问题，需要在VMware网卡设置中重新生成MAC，在虚拟机复制后需要更改内网网卡的IP。

安装jdk：

下载jdk,链接：

http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压：

tar zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local

 配置环境变量：

vi /etc/profile

 内容为：

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:

使之生效：

source /etc/profile

 设置免密登陆：

免密登陆，效果也就是在hadoop01上，通过 ssh登陆到对方计算机上时不用输入密码。（注：若没有安装ssh,先进行安装ssh）

首先在hadoop01 上进行如下操作：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

 然后：hadoop01 ---> hadoop02

ssh-copy-id hadoop02

 然后：hadoop01 ---> hadoop03

ssh-copy-id hadoop03

说明：

hadoop01给hadoop02发出请求信息，hadoop02接到去authorithd_keys找对应的