hadoop HA集群安装部署

最新推荐文章于 2023-01-23 19:35:44 发布
最新推荐文章于 2023-01-23 19:35:44 发布
阅读量371 收藏
点赞数 2
分类专栏： 学习 文章标签： HA结群安装部署 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WangZhaoLongjk/article/details/90481211
版权
1.运行环境1.1 软件环境三个节点OS：64位RHEL5及以上或者64位CentOS6.0及以上JVM：预装64位JDK 1.8及以上版本1.2 浏览器要求Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。BEH-Manager-4.1.2安装包于官方网站下载：http://beh.pezy.cn/2 安装准备2.1准备虚拟...
摘要由CSDN通过智能技术生成

1.运行环境

1.1 软件环境
三个节点
OS：64位RHEL5及以上或者64位CentOS6.0及以上
JVM：预装64位JDK 1.8及以上版本
1.2 浏览器要求
Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。
BEH-Manager-4.1.2安装包于官方网站下载：http://beh.pezy.cn/

2 安装准备

2.1准备虚拟机
准备三个节点的虚拟机
2.2 修改主机名
在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护
修改主机名

vi /etc/sysconfig/network
192.168.xx.210 ha01
（其它俩台分别修改自己的ha02 ha03）

修改host映射

vi /etc/hosts
192.168.xx.210 ha01
192.168.xx.220 ha02
192.168.xx.230 ha03

W5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dhbmdaaGFvTG9uZ2pr,size_16,color_FFFFFF,t_70)2.3 关闭防火墙

service iptables stop
chkconfig iptables off

2.4 配置时间同步

yum –y install ntpdate
ntpdate pool.ntp.org

2.5 配置ssh免秘登录
yum –y install openssh-clients
ssh-keygen –t rsa
ssh-copy-id ha0x(记得给自己和其它俩台都要发)

2.6 安装jdk
自己安装(记得配置环境变量)
3 安装其他组件
3.1 安装zookeeper

注：以下所有安装默认是在ha01上执行！
  1. 解压软件包
    将zookeeper-3.4.6.tar.gz 解压缩，

tar -zxvf zookeeper-3.4.6.tar.gz –C /usr/local/

  1. 修改配置文件（在ha01执行）
    修改Zookeeper配置文件/usr/local/zookeeper3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。

mv zoo_sample.cfg zoo.cfg

修改zoo.cfg,添加如下内容

server.1=ha01:2888:3888
server.2=ha02:2888:3888
server.3=ha03:2888:3888

  1. 创建相关目录
    创建/tmp/zookeeper目录，并在此目录下创建myid文件。

mkdir /tmp/zookeeper
cd /tmp/zookeeper
vi myid

在文件中写入数字
在这里插入图片描述
4. 分发zookeeper软件包
scp -r /usr/local/zookeeper-3.4.6 ha02:/usr/local
scp -r /usr/local/zookeeper-3.4.6 ha03:/usr/local

  5.	修改myid文件

到ha2与ha3上重复三步骤，分别把myid修改为2，3

6.启动Zookeeper
在ha01，ha02，ha03上执行

zkServer.sh start

查看进程QuorumPeerMain是否启动在这里插入图片描述
查看zookeeper状态在这里插入图片描述
3.2 安装高可用hadoop
hadoop部分的配置分为两部分hdfs和yarn。
3.2.1 HDFS
6. 修改配置文件
修改core-site.xml（如果文件不存在，但是core-site.xml.template文件存在，则先修改文件名，执行mv core-site.xml.template core-site.xml）
vi /usr /local/hadoop-2.7.3/etc/hadoop/core-site.xml

修改为以下内容：

 <configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://beh</value>
    <final>false</final>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoopdata</value>
    <final>false</final>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>ha01:2181,ha02:2181,ha03:2181</value>
    <final>false</final>
  </property>
</configuration>

修改hdfs-site.xml
vi /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

修改为以下内容：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>beh</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.namenodes.beh</name>
    <value>nn1,nn2</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.beh.nn1</name>
    <value>ha01:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.beh.nn1</name>
    <value>ha01:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.beh.nn2</name>
    <value>ha02:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.beh.nn2</name>
    <value>ha02:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://ha01:8485;ha02:8485;ha03:8485/beh</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled.beh</name>
    <value>true</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.beh</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.journalnode.edits .dir</name>
    <value>/usr/local/metadata/journal</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence
shell(/bin/true)
</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/usr/local/.ssh/id_rsa</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <final>false</final>
  </property> 
<configuration>

修改slaves
vi /usr/local/hadoop-2.7.3/etc/hadoop/slaves
修改为以下内容：

ha02
ha03

3.2.2 YARN
修改mapred-site.xml
vi /usr/local/hadoop2.7.3/etc/hadoop/mapred-site.xml

修改为以下内修改为以下内容：

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>ha02:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ha03:19888</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
<value>/usr/local/metadata/hadoop-yarn/staging</value>
</property>
</configuration>

修改yarn-site.xml

vi /usr/local/hadoop2.7.3/etc/hadoop/yarn-site.xml

修改为以下内容：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/usr/local/metadata/yarn</value>
</property>
<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/usr/local/logs/yarn/userlogs</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <description>Where to aggregate logs</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>hdfs://beh/var/log/hadoop-yarn/apps</value>
</property>
<!-- Resource Manager Configs -->
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>2000</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>beh</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>

  <!--RM1 RM2 is different-->
<property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.zk.state-store.address</name>
<value>ha01:2181,ha02:2181,ha03:2181</value>
</property>
<property>
<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
    <value>5000</value>
</property>
<!-- RM1 configs -->
<property>
    <name>yarn.resourcemanager.address.rm1</name>
    <value>ha01:23140</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address.rm1</name>
    <value>ha01:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address.rm1</name>
    <value>ha01:23189</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>ha01:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
    <value>ha01:23125</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address.rm1</name>
    <value>ha01:23141</value>
</property>
<!-- RM2 configs -->
<property>
    <name>yarn.resourcemanager.address.rm2</name>
    <value>ha02:23140</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>ha02:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address.rm2</name>
   <value>ha02:23189</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>ha02:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    <value>ha02:23125</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address.rm2</name>
    <value>ha02:23141</value>
</property>
<!-- Node Manager Configs -->
<property>
    <name>mapreduce.shuffle.port</name>
    <value>23080</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
<value>ha01:2181,ha02:2181,ha03:2181</value>
</property>
</configuration>

修改环境变量
**vim /usr/local/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

vim /usr/local/hadoop-2.7.3/etc/hadoop/yarn-env.sh**

修改为以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_102

3.2.3 分发配置文件

scp -r /usr/local/hadoop2.7.3 ha02:/usr/local
scp -r /usr/local/hadoop2.7.3 ha03:/usr/local

注：将以上配置复制到所有节点

3.2.4 启动HDFS
启动journalnode（进程名：JournalNode）

   注 （这个要在3台全部运行）如果配了环境变量就不用打sbin

sbin/hadoop-daemon.sh start journalnode

格式化zookeeper，在ha01上执行

对ha01节点进行格式化和启动启动namenode（进程名：NameNode）：

hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

对ha02节点进行格式化和启动

hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode

**在ha01和ha02上启动zkfc服务（zkfc服务进程名：DFSZKFailoverController）：此时ha01和ha02就会有一个节点变为active状态**

sbin/hadoop-daemon.sh start zkfc

启动datanode（进程名：DataNode）：在ha01上执行

sbin/hadoop-daemons.sh start datanode

3.2.5 验证是否成功

打开浏览器，访问 hadoop1:50070 以及 hadoop2:50070，你将会看到两个namenode一个是active而另一个是standby。
然后kill掉其中active的namenode进程，另一个standby的naemnode将会自动转换为active状态

ha02:50070
或端口号
192.168.83.140：50070

在这里插入图片描述在这里插入图片描述3.2.6 启动yarn
在hadoop1上启动（此脚本将会启动hadoop1上的resourcemanager及所有的nodemanager）

$HADOOP_HOME/sbin/start-yarn.sh

在hadoop2上启动resourcemanagerl
$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

3.2.7 验证是否配置成功

打开浏览器，访问ha01:23188或者ha02:23188，只有active的会打开如下界面，standby的那个不会看到页面。
在这里插入图片描述

然后kill掉active的resourcemanager另一个将会变为active的，说明resourcemanager HA是成功的

(注意： 如果不成功，要那么防火墙没有关，要那么时间不同步，或配置文件不对，然后zookeeper要全部打开，把hadoop关闭在配置)

wzl
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop分布式HA安装部署
weixin_50198333的博客
08-20 263
集群规划 ip 基本的软件 运行的进程 test01 jdk、zk、hadoop NameNode、zkfc、zk、journalNode test02 jdk、zk、hadoop NameNode、zkfc、zk、journalNode、datanode、ResourceManager、NodeManager test03 jdk、zk、hadoop zk、journalNode、datanode、ResourceManager、NodeMan
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
集群搭建系列（四）Hadoop HA 2.7.3 安装
rocky_24的博客
12-17 193
文章目录1 切 Hadoop 权限用户2 解压缩、修改 etc/profile 配置文件3 设置 slaves4 环境变量5 ZKFC6 JournalNode7 启动 HA8 HADOOP_HOME 不存在异常9 JobHistory 1 切 Hadoop 权限用户 ZK 检测： zkServer status JDK 检测： java -version Scala 检测： scala -version 2 解压缩、修改 etc/profile 配置文件 cd /hadoop/hadoo
hadoop_HA集群搭建（详细）
qq_45798620的博客
10-22 583
hadoop_HA集群搭建修改主机名修改IP修改主机名和IP的映射关系关闭防火墙ssh免密码登陆安装JDK，配置环境变量等集群时间同步集群部署节点角色的规划（3节点）安装配置zookeeper集群安装配置hadoop集群修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves配置免密码登陆将软件拷贝到所有节点启动zookeeper集群启动journalnode格式化namenode格式化ZKFC(在active上执行即可）启
Hadoop学习笔记之HA集群安装部署
凌凌岛的博客
03-29 175
文章目录1 运行环境1.1 软件环境1.2 IP与hostname设置2 安装准备2.1 准备虚拟机修改主机名2.2 关闭防火墙2.3 修改hosts列表2.4 配置时钟同步2.5 配置免秘钥登录2.6 安装jdk3 安装其他组件3.1 安装zookeeper3.2 安装hadoop3.2.1 HDFS3.2.2 YARN3.2.3 分发配置文件3.2.4 启动HDFS3.2.5 验证是否成功3....
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
总结来说，Hadoop HA集群部署涉及多个层面，包括硬件规划、软件配置、网络设置以及安全策略等。正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
Hadoop HA集群配置.docx
08-23
总之，配置Hadoop HA集群是一个复杂的过程，涉及到多个组件的协同工作，尤其是ZooKeeper作为基石，对于整个集群的稳定性和高可用性至关重要。正确配置和管理ZooKeeper集群是实现Hadoop HA的关键步骤之一。
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是高可用(High Availability)配置的一种，主要目的是为了确保Hadoop分布式文件系统在遇到单点故障时，能够自动切换到备用节点，保证服务不间断。这通常涉及到NameNode HA，Secondary NameNode...
BEH-Execute分布式调度引擎
Show something
03-04 815
背景 1.ssh安全性问题， 2.docker，mesos云化系统支持问题 3.执行效率问题，尤其是大规模集群(超过50台)，比如服务启动，目前全部需要中心server调动。 4.执行效果问题，目前的执行是触发式的(同步方式)，只能获得ssh的执行结果，不能获得具体任务的执行结果。还是以服务启动为例，只能知道启动脚本的调用结果，无法获知每种角色的具体执行情况。 一.说明 ...
大数据----11.高可用的具体详细配置
u014579001的博客
08-19 820
高可用的具体配置 1.可以直接在我么之前的hadoop集群中进行；最好是我们重新搭建一个集群来进行；因为之前的集群还要使用； 1. 克隆服务器 2.通过拷贝我们的 hadoop01； hadoop02；hadoop03； 分布为我们的ha01；ha02；ha03； 3.克隆完毕之后的操作： ​ 1.修改机器的ip地址：我们从150； 160；170；开始； ​ vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 //默认网卡都是这
大数据必知必会：Hadoop（4）高可用集群安装
最新发布
wux_labs的博客
01-23 301
Hadoop 3.3.4 高可用集群安装
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4201
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
hadoop非HA安装，解决defalutFS（eg：beh）问题
那又怎样？的博客
07-19 849
报错如下： （1）修改core-site.xml : &lt;property&gt;         &lt;name&gt;fs.defaultFS&lt;/name&gt;         &lt;value&gt;hdfs://beh/&lt;/value&gt;   &lt;/property&gt; 为如下：（因为不修改，hdfs dfs -ls / 会无法查看，报错Unknow...
hadoop本地库版本问题
那又怎样？的博客
08-23 3611
问题如下：配置完hadoop-env.sh，装好native库后，hadoop checknative仍然无法找到任何库 错误如下：推荐一个实用技巧，手动设置hadoop shell debug模式： export HADOOP_ROOT_LOGGER=DEBUG,console（直接输入到命令行就行）     18/08/22 17:12:28 DEBUG util.NativeC...
HA 高可用集群搭建
weixin_41303204的博客
11-17 226
HA 高可用集群搭建 1.准备1台虚拟机（配置完基础环境后，克隆2台，将集群搭建完2台主节点，1台子节点） 1.1配置网络 [root@Master1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IP...
hadoop-HA高可用集群安装部署
tyhawk的博客
03-29 1517
文章目录一、 运行环境1. 软件环境2. 安装准备2.1 准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 修改主机名列表2.5 配置时间同步2.6 配置免秘钥登录2.7 安装jdk3. 安装其他组件3.1 安装zookeeper3.2 安装hadoop3.2.1 安装HDFS3.2.2 YARN修改mapred-site.xml修改yarn-site.xml修改环境变量修改全局环境变量3.2...
hadoop源码解析—— conf包中Configuration.java解析（一）
探索地理之源 分享GIS价值
02-11 3277
package org.apache.hadoop.conf; import java.io.BufferedInputStream; import java.io.DataInput; import java.io.DataOutput; import java.io.File; import java.io.FileInputStream; import java.io.IOExceptio
Zookeeper引导的Hadoop HA集群详尽安装教程
本文将详细介绍如何基于Zookeeper实现Hadoop High Availability (HA) 集群的安装过程，...通过本文，读者将能够全面了解并实践基于Zookeeper的Hadoop HA集群的安装过程，确保在生产环境中实现高可用性和故障恢复能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值