Hadoop2.7.5HA的安装和测试

最新推荐文章于 2024-06-24 18:44:17 发布

Xlucas

最新推荐文章于 2024-06-24 18:44:17 发布

阅读量1.1k

点赞数 1

分类专栏： hadoop 文章标签： hadoop HA 集群

本文链接：https://blog.csdn.net/paicMis/article/details/79255907

版权

本文档详细介绍了如何在Hadoop 2.7.5上设置高可用性(HA)。内容包括集群规划、环境配置、Zookeeper的搭建、Hadoop的安装与配置、HDFS和YARN的启动，以及HA的验证步骤。通过这些步骤，确保Hadoop集群在节点故障时仍能保持服务。

摘要由CSDN通过智能技术生成

这篇文章我们只介绍Hadoop HA的安装和配置，不会深入讲解HA的原理。
1、集群的规划

 主机名        IP                安装的软件           运行的进程
cdh1  192.168.18.160    jdk、hadoop      NameNode  DFSZKFailoverController(zkfc)、ResourceManager
cdh2 192.168.18.161    jdk、hadoop       NameNode、DFSZKFailoverController(zkfc)、ResourceManager
cdh3 192.168.18.162   jdk、hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain
cdh4 192.168.18.163    jdk、hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain
cdh5 192.168.18.164   jdk、hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain

2、环境信息
1、centos6.4 64位
2、hadoop2.7.5
3、jdk1.8
4、zookeeper3.4.6

3、前期准备
关于centos网络设置和IP设置可以查看文章(http://blog.csdn.net/paicmis/article/details/62323221)
关于jdk、免密码登录、防火墙关系等前期的操作可以查看http://www.xlucas.com/a/hadoopfenxiang/2014/1202/12.html

4、搭建zookeeper cdh3\cdh4\cdh5
可以查看文章 http://blog.csdn.net/paicmis/article/details/53264178

5、解压Hadoop

[hadoop@cdh1 opt]$ tar -zxvf hadoop-2.7.5.tar.gz

6、设置环境变量
修改用户下面的 .bash_profile 问题，也可以用root用户修改/etc/profile文件。
设置Hadoop根路径和path

export HADOOP_HOME=/opt/hadoop-2.7.5
PATH=$PATH:$HOME/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

设置好以后，需要source一下环境

7、修改Hadoop配置文件
1、修改/opt/hadoop-2.7.5/etc/hadoop 目录下面的hadoop-env.sh
将JAVA_HOME的路径配置成你环境中的路径

export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/jdk1.8.0_111

2、配置core-site.xml文件，

复制的时候需要将这些中文的注释删除，否则会出现很奇怪的问题

<configuration>  
<!-- 指定hdfs的nameservice为ns1 -->  
<property>  
<name>fs.defaultFS</name>  
<value>hdfs://ns1/</value>  
</property>  
<!-- 指定hadoop临时目录 -->  
<property>  
<name>hadoop.tmp.dir</name>  
<value>/opt/hadoop-2.7.5/tmp</value>  
</property>  
<!-- 指定zookeeper地址 -->  
<property>  
<name>ha.zookeeper.quorum</name>  
<