HA集群（高可用）安装部署

最新推荐文章于 2024-10-12 13:36:43 发布

drl_blogs

最新推荐文章于 2024-10-12 13:36:43 发布

阅读量1.1k

点赞数

分类专栏： # 集群 # hadoop

本文链接：https://blog.csdn.net/drl_blogs/article/details/90452899

版权

本文介绍了如何在RHEL/CentOS系统上搭建高可用(HA)的Hadoop集群，包括设置运行环境、安装JDK、配置SSH免密登录、安装Zookeeper和Hadoop，以及详细步骤来配置和启动HDFS、YARN，确保Hadoop HA的正确运行。

摘要由CSDN通过智能技术生成

文章目录

1 运行环境

1软件环境

三个节点
OS：64位RHEL5及以上或者64位CentOS6.0及以上
JVM：预装64位JDK 1.8及以上版本

2 安装准备

2.1准备虚拟机

准备三个节点的虚拟机

2.2 修改主机名

在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护。
修改主机名
vi /etc/sysconfig/network
192.168.xx.210 ha01
（其它俩台分别修改自己的ha02 ha03）
修改host映射：

vi /etc/hosts

192.168.xx.210  ha01
192.168.xx.220  ha02
192.168.xx.230  ha03

2.3 关闭防火墙

service iptables stop
chkconfig iptables off

3 安装其他组件

3.1 安装zookeeper和hadoop

安装zookeeper
安装hadoop

3.2 安装高可用hadoop

hadoop部分的配置分为两部分hdfs和yarn。

3.2.1 HDFS

修改配置文件
修改core-site.xml（如果文件不存在，但是core-site.xml.template文件存在，则先修改文件名，执行mv core-site.xml.template core-site.xml）

vi /usr /local/hadoop-2.7.3/etc/hadoop/core-site.xml

修改为以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://beh</value>
    <final>false</final>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoopdata</value>
    <final>false</final>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>ha01:2181,ha02:2181,ha03:2181</value>
    <final>false</final>
  </property>
</configuration>

修改hdfs-site.xml

vi /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

修改为以下内容：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>beh</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.namenodes.beh</name>
    <value>nn1,n