HADOOP的高可用安装

一、HADOOP的介绍
Hadoop的思想之源：Google。Hadoop的作者是Doug cutting，就职于Yahoo期间开发了Hadoop项目，目前在Cloudera公司从事架构工作。Hadoop有分布式存储系统HDFS；分布式计算框架MapReduce；分布式资源管理框架YARN。
HDFS的架构：
二、前期准备

1.准备Linux环境
安装vmware linux虚拟机，安装完虚拟机之后
设置IP：vi /etc/sysconfig/network-scripts/ifcfg-eth0
![这是我的配置删除了UUID和MAC地址](https://img-blog.csdnimg.cn/2020061613003977.png#pic_center)-service network restart
出来全是OK才行。

-ping www.baidu.com,看是否成功

ctrl+c结束。

2.配置虚拟机网络环境

-rm –fr /etc/udev/rules.d/70-persistent-net.rules（删除70-persistent-net.rules）

关闭防火墙&Selinux

-service iptables stop

-chkconfig iptables off

-vi /etc/selinux/config
	SELINUX=disabled

关机
拍摄快照

完成上述操作后

1.克隆四台虚拟机
2.配置IP
3.配置主机名

-vi /etc/sysconfig/network
	HOSTNAME=node001

4.配置hosts

-vi /etc/hosts（四台虚拟机都需要）
-c:/windows/system32/drivers/etc/hosts
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200616131554491.png#pic_center)

5.关闭虚拟机

6.拍摄快照

四台虚拟机配置完成之后node001和node002互相ping一下看能否ping通

在这个路径的hosts文件里加上

然后在Windows的cmd窗口里ping node001 看能不能通。

三、Hadoop伪分布式安装
用Xshell连接虚拟机，方便操作，我们先配一台虚拟机node002（我的第一台虚拟机是002 之后再是001，003，004）
1.用rpm安装jdk

-rpm -i jdk-7u67-linux-x64.rpm
-whereis java
-vi + /etc/profile
	export JAVA_HOME=/usr/bin/java
	export PATH=$PATH:$JAVA_HOME/bin
-source /etc/profile

如果出现 -bash: jps: command not found
改：

 export JAVA_HOME=/usr/bin/java
 export PATH=$PATH:/usr/java/jdk1.7.0_67/bin

2.免秘钥
在家目录下，ll -a,看有无.ssh文件
若无，则先ssh localhost一下（之后exit退出）

-ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
-cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

-ssh localhost 验证（exit退出）
-ssh node001 验证 （exit退出）

3.安装hadoop2.6.5

-tar xf hadoop-2.6.5.tar.gz -C /opt/ldy

然后到/opt/ldy目录下去看一下是否解压好了

cd /opt/pty/hadoop-2.6.5

要想在任意目录下启动hadoop，
就要在配置文件里做些修改。

export JAVA_HOME=/usr