Hadoop2.9.0+VMware+ubuntu16.04完全分布式安装指南-超详细

0.环境概要

Linux：Ubuntu 16.04
hadoop：Hadoop 2.9.0
jdk：1.8.0
vmware：14.0 pro

1.Linux环境部署

1.1第一步配置Vmware NAT网络

　　　　vmware虚拟机的配置，主要是网络配置，选择NAT网络，Ubuntu在我的电脑上不需要配置网络，选择默认就好。centos系统需要修改配置文件，请看这里。所以这一步跳过啦。

1.2第二步Vmware安装Linux操作系统

1.关闭防火墙

chkconfig iptables off

2.关闭selinux

vim /etc/sysconfig/selinux

修改为

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled   #修改这个地方为disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.hostname修改（永久）

vim /etc/sysconfig/network
NETWORKING=yes  #使用网络
HOSTNAME=hadoop00  #设置主机名

vim /etc/hosts

```
```
vim /etc/hosts

vim /etc/hosts

```
3.免密码登录


4.创建工作目录


5.安装jdk-配置环境变量
a.官网下载JDK文件：[ JDK下载](l)
选择对应的JDK，此处为jdk-8u151-linux-x64.tar.gz
b.创建一个文件夹```sudo mkdir /java```
c.将文件解压至该文件夹
```tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java```
d.配置jdk的环境变量
```sudo gedit /etc/profile```
在末尾加入以下语句
```PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/java/jdk1.8.0_121```
e.修改完成之后保存关闭，并输入以下命令使环境变量立即生效
```source /etc/profile```
f.输入```java -version```，显示JDK版本说明恭喜你，环境变量配置正确,继续下一步






6.Hadoop本地模式安装
| 模式名称 | 各个模块占用的JVM进程数 | 各个模块运行在几个机器数上 |
| :------|||
| 本地模式 | 1个 | 1个|
| 伪分布式模式 | N个 | 1个|
| 完全分布式模式 | N个 | N个|
| HA完全分布式 | N个 | N个|


1.下载Hadoop安装包[ Hadoop Download]
解压到/home/hadoop
2.修改配置文件
增加环境变量-java-hadoop
 a.在系统环境变量中添加hadoop的PATH
 
 b.在/hadoop/etc的数个文件中添加java的PATH
 包括
 yarn-env.sh
 mapred-env.sh
 hadoop-env.sh
 
 c.配置hadoop环境
 包括
 yarn-site.xml
 hdfs-site.xml
 core-site.xml
source


vmware克隆虚拟机2份
关闭虚拟机后，点击管理-克隆-创建完整克隆
重复克隆一次，两个虚拟机分别命名为slave1.slave2


分发到子机器

启动start-dsf，yarn

启动yarn的网页host：http://localhost:8088/cluster

编辑时间：2018/4/9

教程还不是很完善，从markdown上粘过来很多东西都丢失啦。有问题请联系我。

教程参考了许许多多的网络资源和以下几位的博客，谢谢。