HADOOP高可用搭建过程

第一章 vmware安装与Linux基础配置
1.1下载安装vmware
照着步骤
教程

xshell：
教程

xftp：
教程

1.2：新建虚拟机
教程：

1.3初步配置Linux
1.3.1启动虚拟机，配置IP
1、修改网络配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

linux主机刚安装好时，ONBOOT属性的缺省值为no，需要修改为yes，BOORPROTO缺省值为dhcp，需要修改为static。
然后设置IP地址，网络掩码，网关等。

2、重启network服务

service network restart

使网络设置生效。
3、测试是否成功

ping www.baidu.com

ping百度时出现图片上的内容，则成功。按Ctrl+C停止ping。

1.3.2删除70-persistent-net.rules
删除指令：

rm –fr /etc/udev/rules.d/70-persistent-net.rules

1
为什么要删除70-persistent-net.rules
因为如果虚拟机保留 /etc/udev/rules.d/70-persistent-net.rules这个文件，在通过该虚拟机克隆的时候:
1，文件被带到新的虚拟机中
2，vm变更了新的虚拟机的mac地址
你配置的/etc/sysconfig/network-scripts/ifcfg-eth0就不能应用
所以，新机器不能使用eth0接口
1.3.3关闭防火墙和Selinux
按序输入如下指令

service iptables stop
chkconfig iptables off

接着输入：修改SELINUX的值，将值设为disabled

vi /etc/selinux/config

这样设置更安全，如时间错了就把相应文件变成只读文件

1.3.4关机、拍摄快照
关机指令：poweroff
拍摄快照：当搭建好一个环境后，在没有添加任何数据时，或改变系统环境时，可以启用快照功能，虚拟机会保存虚拟系统里当前的环境，包括所安装的软件等设置；
当环境改变或需要重新搭建并系统初始化时，为免安装其他大型软件，可以启用快照的保存点进行恢复。作用就达到了快捷搭建环境的作用，也可以说是一种备份。

1.4克隆4台虚拟机
1.4.1用快照克隆4台虚拟机
选择某一个快照，并进行克隆

分别命名为node01、node02、node03、node04
新建克隆

1.3.2 配置4台机子的主机名、IP、hosts等
（以node01为例）

1.3.2.1 配置主机名
使用下列命令打开network文件配置主机名：

vi /etc/sysconfig/network

（另外3台配置方式参考node01，
node02的HOSTNAME=node02，
node03的HOSTNAME=node03，
node04的HOSTNAME=node04

配置IP完成后，不要忘记执行：

service network restart
1
确保输入的都是OK，确保可以ping通百度：

（另外3台配置方式参考node01，
node02的IPADDR=192.168.X.32，
node03的IPADDR=192.168.X.33，
node04的IPADDR=192.168.X.33，
X的值和电脑有关，如果忘记了X的值，在VMware Workstation的编辑——虚拟网络编辑器查看，如下图所示（我的电脑的X=61）：

1.3.2.3 配置hosts
使用以下命令打开hosts文件进行配置：

vi /etc/hosts

（另外3台机子的配置方法、内容和node01完全相同。）

建议：
配好4台机子的3个文件后，建议检查是否可以互相ping通，以免造成不必要的麻烦。

1.3.3 配置Windows下的hosts文件
文件路径为：
C:\Windows\System32\drivers\etc

然后打开命令行，看是否可以用ping通这些结点：

2.Hadoop伪分布式安装
2.1 使用Xshell和Xftp辅助以简化操作
如何新建Xshell连接？
以node01为例，单击文件——新建，按下图设置好连接

可以保存密码以简化后续连接

第一次打开连接或修改密码后打开连接会有提示，选择接受并保存即可

下图所示的就是已经建立好的Xftp连接

2.2 在node01中用rpm安装jdk
先把事先准备好的jdk-7u67-linux-x64.rpm放到node01的/root路径下
执行下列命令安装jdk：

rpm -i jdk-7u67-linux-x64.rpm

1
执行以下命令确定java的路径：

whereis java

1

根据查询到的java的路径，修改profile文件下的环境变量：
执行下列命令打开profile文件

vi + /etc/profile

1
在打开的的文件，添加：

export JAVA_HOME=/usr/bin/java
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin

执行下列命令：

source /etc/profile

执行：

jps

确保jps进程能正常启动

2.3 免秘钥
知识链接：如何回到家目录？
执行下列命令即可：

cd

在家目录下，执行：

ll -a

看看有无.ssh文件夹，如果没有，执行：

ssh localhost

每次执行ssh登录以后，都不要忘了执行下列命令退出登录：

exit

在确保家目录下存在.ssh文件夹后，执行下列命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

确认免秘钥是否成功（注意每次ssh以后都别忘了exit）：

ssh localhost
ssh node01

2.4 安装Hadoop2.6.5
先进入/opt建好自己的个人目录：

cd /opt
mkdir ztl

把事先准备好的hadoop-2.6.5.tar.gz文件传入node01，执行下列命令，把Hadoop安装到自己的个人目录：

tar xf hadoop-2.6.5.tar.gz -C /opt/ztl

如果想要在任意目录启动Hadoop，需要修改配置文件：

vi /etc/profile

在打开的配置文件里，添加或修改：

export JAVA_HOME=/usr/bin/java
export HADOOP_HOME=/opt/yyj/hadoop-