hadoop集群搭建

Hadoop 安装与配置

一. 文档说明
hadoop 这套软件通常都在多台linux主机上运行，但目前条件不允许，所以使用虚拟机模拟多个计算机，在这些模拟出来的计算机装操作系统，之后在操作系统上部署hadoop环境来进行实验。
1.目标：用虚拟机基本配置一个拥有三个节点的hadoop实验环境。
2.环境：
物理机配置：
硬件设备：笔记本
运行存储：8G（内存条）
磁盘存储：128G硬盘（注释1）
操作系统： Ubuntu 14.7 X64(注释2)
软件和文件
虚拟机软件：VMware 15 （注3）
远程连接工具：ssh客户端 (注释4)
文件传输工具：ssh客户端（注释5）
要下载的文件：（都是免费的，建议去官网下载。）
JAVA-JDK：jdk-1.8 (注释6)
hadoop的安装文件：hadoop-3.1.2.tar.gz
ubuntu的光盘镜像：ubuntu-14.04.4-desktop-amd64.iso (也可以是其他系统)

3.主要步骤：
		3.1	安装虚拟机软件
		3.2	创建虚拟机
		3.3	给虚拟机安装操作系统
		3.4	复制虚拟机
		3.5	所有虚拟机开启root用户
		3.6	给虚拟机安装ssh服务
		3.7	物理机上用远程工具链接虚拟机
		3.8	配置虚拟机之间ssh的免秘密登陆 	
		3.9	所有虚拟机修改
			/etc/hostname		计算机名文件
			/etc/hosts			本地域名解析文件
		3.10	给虚拟机安装并配置 JAVA
		3.11	给虚拟机安装并配置 Hadoop
		3.12	启动Hadoop并运行状况

二. 安装过程

1. 在物理机的操作系统上安装VMware，这个不多说，自己网上找安装过程，实在懒得找，就直接运行安装程序（windows下就直接双击安装程序），之后一直下一步到底就行了。

2.启动虚拟机软件，创建一个虚拟机。（给电脑选配置）
2.1 新建虚拟机 功能菜单File(文件） 》 New Virtual Machine（新建虚拟机）

2.2 当前版本，这里是选择版本兼容性的，自己用，不选择兼容低版本了。
2.3 I will install the operating system later.（选择暂时不安装系统，以后再说),
next（下一步）

2.4 选择linux模式，Ubuntu 类型。
Next(下一步)
2.5 给虚拟机起名，之后选择保存位置。(注释7)
虚拟机名：test01
保存位置：/home/tom/vmware/test01

2.6 输入虚拟磁盘（硬盘）大小，和保存形式，（注释8）
store virtual disk as a single file 单文件形式，将虚拟磁盘保存成一个文件。
Split virtual disk into muitiple file 多文件形式，将虚拟磁盘保存成多个文件。

我选择的是单一文件形式，磁盘20G。

2.7 查看配置清单，点击”Customize Hardware”按钮 修改内存大小（我机器配置差）

我将内存（内存条）大小调整到1G，后点击close 保存配置（自己电脑硬件差只能这样，如果配置好的可以多给虚拟机分一些。）。如果配置没有问题了，选择Finish （完成配置）

2.8 关闭提示窗口，我这里会经历一个系统安装提示的界面，提示安装系统时候的一些信息，都可以忽略的信息，直接点击 Close关闭就好。

2.9 虚拟机创建完毕，会回到vm的主界面，显示出刚刚创建的虚拟机（一个空壳电脑组装好了）

3.给虚拟机装系统（目前电脑是空白的，开机就一个黑屏，几个字符，没法用的。）
3.1 选择刚刚创建的虚拟机，为虚拟机载入刚刚下载好的光盘镜像文件ubuntu-14.04.4-desktop-amd64.iso，相当于将系统光盘，放入光驱。
3.1.1 Edit virtual machin settings (编辑此虚拟机)

3.1.2 点击CD/DVD 光盘驱动器，
勾选 Connect at power on (电源接通时连接，