这篇文章我们只介绍Hadoop HA的安装和配置,不会深入讲解HA的原理。
1、集群的规划
主机名 IP 安装的软件 运行的进程
cdh1 192.168.18.160 jdk、hadoop NameNode DFSZKFailoverController(zkfc)、ResourceManager
cdh2 192.168.18.161 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
cdh3 192.168.18.162 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
cdh4 192.168.18.163 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
cdh5 192.168.18.164 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
2、环境信息
1、centos6.4 64位
2、hadoop2.7.5
3、jdk1.8
4、zookeeper3.4.6
3、前期准备
关于centos网络设置和IP设置可以查看文章(http://blog.csdn.net/paicmis/article/details/62323221)
关于jdk、免密码登录、防火墙关系等前期的操作可以查看http://www.xlucas.com/a/hadoopfenxiang/2014/1202/12.html
4、搭建zookeeper cdh3\cdh4\cdh5
可以查看文章 http://blog.csdn.net/paicmis/article/details/53264178
5、解压Hadoop
[hadoop@cdh1 opt]$ tar -zxvf hadoop-2.7.5.tar.gz
6、设置环境变量
修改用户下面的 .bash_profile 问题,也可以用root用户修改/etc/profile文件。
设置Hadoop根路径和path
export HADOOP_HOME=/opt/hadoop-2.7.5
PATH=$PATH:$HOME/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
设置好以后,需要source一下环境
7、修改Hadoop配置文件
1、修改/opt/hadoop-2.7.5/etc/hadoop 目录下面的hadoop-env.sh
将JAVA_HOME的路径配置成你环境中的路径
export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/jdk1.8.0_111
2、配置core-site.xml文件,
复制的时候需要将这些中文的注释删除,否则会出现很奇怪的问题
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.5/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<