零基础搭建Hadoop高可用环境——从安装VM虚拟机开始，结合使用Xshell

前景提要：这是一位比小白还小白的小小白写的，主要是为了完成作业。若有错误欢迎指正！！

第一章 vmware安装与Linux基础配置

1.1下载安装vmware

提供了3个安装软件的连接，是我在学习过程中用得到软件。
已经有很多大神都写了，(我自己是跟着老师走的)，那我就不废话了直接上链接吧。
第一个是vmware虚拟机
VMware安装教程
第二个是xshell
xshell 是一个强大的安全终端模拟软件。
使用这个软件连接Linux系统。
Xshell安装教程
第三个是Xftp
Xftp可以在 UNIX/Linux 和 Windows PC 之间传输文件。
Xftp安装教程

1.2新建虚拟机

话不多说，新建过程看链接！
VMware新建虚拟机过程

1.3初步配置Linux

1.3.1启动虚拟机，配置IP

1、修改网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

linux主机刚安装好时，ONBOOT属性的缺省值为no，需要修改为yes，BOORPROTO缺省值为dhcp，需要修改为static。
然后设置IP地址，网络掩码，网关等。

2、重启network服务

service network restart

使网络设置生效。
3、测试是否成功

ping www.baidu.com

ping百度时出现图片上的内容，则成功。按Ctrl+C停止ping。

1.3.2删除70-persistent-net.rules

删除指令：

rm –fr /etc/udev/rules.d/70-persistent-net.rules

为什么要删除70-persistent-net.rules
因为如果虚拟机保留 /etc/udev/rules.d/70-persistent-net.rules这个文件，在通过该虚拟机克隆的时候:
1，文件被带到新的虚拟机中
2，vm变更了新的虚拟机的mac地址
你配置的/etc/sysconfig/network-scripts/ifcfg-eth0就不能应用
所以，新机器不能使用eth0接口

1.3.3关闭防火墙和Selinux

按序输入如下指令

service iptables stop
chkconfig iptables off

接着输入：修改SELINUX的值，将值设为disabled

vi /etc/selinux/config

这样设置更安全，如时间错了就把相应文件变成只读文件

1.3.4关机、拍摄快照

关机指令：poweroff
拍摄快照：当搭建好一个环境后，在没有添加任何数据时，或改变系统环境时，可以启用快照功能，虚拟机会保存虚拟系统里当前的环境，包括所安装的软件等设置；
当环境改变或需要重新搭建并系统初始化时，为免安装其他大型软件，可以启用快照的保存点进行恢复。作用就达到了快捷搭建环境的作用，也可以说是一种备份。

1.4克隆4台虚拟机

1.4.1用快照克隆4台虚拟机

选择某一个快照，并进行克隆

我一共配置了4台虚拟机，分别命名为node03、node04、node05、node06

1.4.2配置4台虚拟机的主机名、IP、hosts

1、配置主机名
打开4台虚拟机，分别配置对应的主机名。

vi /etc/sysconfig/network

分别将HOSTNAME的值改为node03/node04/node05/node06

2、配置IP
分别配置4台机子的IP.
如node03的ip为192.168.72.33
则node04的ip为192.168.72.34
更改最后一位数

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3、配置hosts

vi /etc/hosts

将四台虚拟机的IP和HOSTNAME都输入进去

配置完之后poweroff，拍快照，保存一个非常干净的Linux版本

4台虚拟机之间互相ping一下看是否能ping通，使用指令 ping nodeXX

1.4.3配置Windows下的hosts文件

在我的电脑里，找到C:\Windows\System32\drivers\etc目录，打开hosts文件进行编辑。

在hosts文件中，添加4台虚拟机。

配置完后，打开电脑的cmd窗口，ping node03/04/05/06 ，看是否ping成功
Linux的基础配置到此就完成了！恭喜你，你现在已经是青铜了！！让我们朝着白银出发吧！！！

第二章 Hadoop伪分布式安装

接下来的步骤都是用Xshell和Xftp来操作。

2.1在第一台虚拟机中用rpm安装jdk

我的第一台虚拟机是node03。
先在根目录下，将jdk上传。（这里就使用到了Xftp传输文件）

输入指令安装jdk

rpm -i jdk-7u67-linux-x64.rpm

安装完成输入下面指令，查看安装路径。(记住路径，下面会使用到)

whereis java

修改配置文件，输入下面的vi指令

  vi + /etc/profile

在打开的配置文件里添加或修改export语句，保存并退出。

    export JAVA_HOME=/usr/bin/java
	export PATH=$PATH:/usr/java/jdk1.7.0_67/bin

修改完后不要忘记

source /etc/profile

输入jps查看是否成功。成功会出现数字+jps。

2.2免密钥

首先，在家目录下，ll –a ,看有无.ssh文件，
若无，则先ssh localhost一下（登录完别忘了exit）
然后，cd .shh进入ssh

在.ssh目录下输入下面两个指进行免密钥

   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证：ssh XXXX时不需要输入密码
ssh loocalhost（不要忘记exit）
ssh node03（不要忘记exit）

2.3安装Hadoop2.6.5

首先进入/opt 建立一个目录，这里的/smy是我自己创的文件名，你也可以设为别的名字

cd /opt
mkdir smy

把准备好的hadoop-2.6.5.tar.gz文件传给node03

tar xf hadoop-2.6.5.tar.gz -C /opt/smy 

(注：-C的C 是大写）
然后到/opt/smy目录下去看一下是否解压好了，ll可查看该目录下的文件，其中sbin这个文件夹很重要,放的是系统级别的一些可执行脚本。

cd /opt/smy/hadoop-2.6.5

要想在任意目录下启动hadoop，就要在配置文件里做些修改。
添加新的export HADOOP_HOME语句。

vi + /etc/profile
    export JAVA_HOME=/usr/bin/java
	export HADOOP_HOME=/opt/smy/hadoop-2.6.5
	export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完后不要忘记

source /etc/profile

若输入hd按Tab键可以联想出hdfs
输入start-d按Tab键可以联想出start-dfs
就表示配置成功了

2.4修改Hadoop配置文件信息</