高可用Hadoop集群的搭建

最新推荐文章于 2024-05-14 04:09:21 发布
置顶 最新推荐文章于 2024-05-14 04:09:21 发布
阅读量516 收藏 1
点赞数 1
分类专栏： 大数据技术 文章标签： hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lissic_blog/article/details/79332584
版权

一、集群节点说明

  这里用7个节点做Hadoop的HA，其中3台做zookeeper集群，3台做edits文件收集的journalnode集群，2台做失败切换zkfc，2台namenode，3台datanode，2台reourcemanage，3台nodemanager。具体的集群资源分配及ip规划如下：
主机名IP安装软件
mini1192.168.9.201JDK、NameNode、DFSZKFailoverController(ZKFC)
mini2192.168.9.202JDK、NameNode、DFSZKFailoverController(ZKFC)
mini3192.168.9.203JDK、ResourceManager
mini4192.168.9.204JDK、ResourceManager
mini5192.168.9.205JDK、DataNode、JournalNode、QuorumPeerMain(Zookeeper)
mini6192.168.9.206JDK、DataNode、JournalNode、QuorumPeerMain(Zookeeper)
mini7192.168.9.207JDK、DataNode、JournalNode、QuorumPeerMain(Zookeeper)

说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6.4解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

二、安装步骤

1、安装zookeeper到mini5、mini6、mini7三台机器上

1.1 上传zookeeper-3.4.5并解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/apps/
1.2 修改配置文件
cd /home/hadoop/apps/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/hadoop/apps/zookeeper-3.4.5/tmp
在最后添加：
server.1=mini5:2888:3888
server.2=mini6:2888:3888
server.3=mini7:2888:3888
保存、退出
1.3 创建zookeeper的数据目录tmp，并写入zookeeper服务id
mkdir /home/hadoop/apps/zookeeper-3.4.5/tmp
echo 1 > /home/hadoop/apps/zookeeper-3.4.5/tmp/myid
1.4 将配置好的zookeeper分发到mini6和mini7上
scp -r /home/hadoop/apps/zookeeper-3.4.5/ mini6:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.5/ mini7:/home/hadoop/apps/

注意：修改mini6、mini7对应/hadoop/zookeeper-3.4.5/tmp/myid内容

mini6：
echo 2 > /home/hadoop/apps/zookeeper-3.4.5/tmp/myid
mini7：
echo 3 > /home/hadoop/apps/zookeeper-3.4.5/tmp/myid

2、安装并配置Hadoop集群（在mini1上操作）

2.1上传hadoop软件并解压
tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/apps/
2.2 配置HDFS（为了后边命令的方便输入，将Hadoop的bin目录配置到了环境变量中，详细看注意部分）

注意：将hadoop添加到环境变量中

vim /etc/profile
export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_55
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
2.2.1 修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55
2.2.2 修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bi/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/apps/hdpdata/</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>mini5:2181,mini6:2181,mini7:2181</value>
</property>
</configuration>
2.2.3 修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为bi，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>bi</value>
</property>
<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.bi</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bi.nn1</name>
<value>mini1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bi.nn1</name>
<value>mini1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bi.nn2</name>
<value>mini2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bi.nn2</name>
<value>mini2:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://mini5:8485;mini6:8485;mini7:8485/bi</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/apps/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.bi</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
2.2.4 修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.2.5 修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>mini3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>mini4</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>mini5:2181,mini6:2181,mini7:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2.2.6 修改slaves文件
mini5
mini6
mini6
2.2.7 配置免密登录

注意：首先要配置mini1到mini2、mini3、mini4、mini5、mini6、mini7的免密码登陆

#mini1上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id mini1
ssh-coyp-id mini2
ssh-coyp-id mini3
ssh-coyp-id mini4
ssh-coyp-id mini5
ssh-coyp-id mini6
ssh-coyp-id mini7
---------------------------------------------------
#配置mini3到mini3、mini4、mini5、mini6、mini7的免密码登陆
#在mini3上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-coyp-id mini3               
ssh-coyp-id mini4
ssh-coyp-id mini5
ssh-coyp-id mini6
ssh-coyp-id mini7
# mini4同上

注意：两个namenode之间要配置ssh免密码登陆，别忘了配置mini2到mini1的免登陆

2.4 将配置好的hadoop分发到其他机器上

scp -r /home/hadoop/apps/hadoop-2.6.4/ mini2:/$PWD
scp -r /home/hadoop/apps/hadoop-2.6.4/ mini3:/$PWD
scp -r /home/hadoop/apps/hadoop-2.6.4/ mini4:/$PWD
scp -r /home/hadoop/apps/hadoop-2.6.4/ mini5:/$PWD
scp -r /home/hadoop/apps/hadoop-2.6.4/ mini6:/$PWD
scp -r /home/hadoop/apps/hadoop-2.6.4/ mini7:/$PWD

2.5 启动集群

==严格按照以下的步骤进行启动==

2.5.1 启动zookeeper集群（mini5,mini6,mini7）
cd /home/hadoop/apps/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
2.5.2 启动journalnode（mini5,mini6,mini7）
hadoop-daemon.sh start journalnode
#运行jps命令检验，mini5、mini6、mini7上多了JournalNode进程
2.5.3 格式化namenode
hdfs namenode -format
# 为了保证两个namenode的元数据保持一直，将mini1上的元数据拷贝到mini2上
scp -r /home/hadoop/apps/hdpdata/ mini2:/home/hadoop/apps/
2.5.4 格式化ZKFC(在mini1上执行一次即可)
hdfs zkfc -formatZK
2.5.5 启动HDFS（在mini1上执行）
start-dfs.sh
2.5.6 启动YARN

注意：是在mini3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动。因为启动脚本的问题，所以在迷你上也要单独启动一下resourcemanager。

start-yarn.sh

三、检查是否成功

使用浏览器分别访问mini1::50070,发现显示的active，访问mini2:50070，发现显示的是standby。

mini1访问
mini2访问

在mini3和mini4上访问resourcemanager，mini3:8088.发现mini可以正常访问，而mini4是直接调转到mini3上的
mini3访问
min4访问

Zerooooooooooooooooo
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop高可用集群
千锋教育
06-02 1065
当发生故障的时候, Active节点挂掉, 此时Standby节点在成为新的Active节点之前, 会将读取到的EditLog文件在自己的内存中进行推演, 得到最新的目录树结构. 此时再升为Active节点, 可以无缝的继续对外提供服务.当有任何的操作发生在Active节点上的时候, JN会记录这些操作到半数以上的节点中. Standby节点检测JN中的log日志文件发生了变化, 会读取JN中的数据到自己的内存中, 维护最新的目录树结构与元数据信息。要是有一个能监视Active节点的服务功能就好了。
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
搭建Hadoop高可用集群
weixin_46606519的博客
12-19 3366
配置Hadoop高可用集群
2024年最全Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新白嫖党最爱
最新发布
2401_84181193的博客
05-14 791
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。
Hadoop生态圈-高可用集群
热门推荐
未昔的博客
07-29 6万+
Hadoop生态圈-高可用集群 Hadoop生态圈即全部组件 - 原创wnagwei（qq：140691703@qq.com） 转载复制请联系作者，未经允许擅自操作，将追究法律责任 高可用集群自动故障转移工作 机制 1） 故障检测： 故障检测：集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果 机器崩溃，ZooKeeper 中的会话将终止，ZooKeeper 通知另一个 NameNode 需要触发故障转 移。 2）现役 NameNode 选择： 现役 Name
Linux下搭建高可用Hadoop集群详解
m0_46657040的博客
08-24 407
下载hadoop的Linux安装包
Hadoop HA高可用集群搭建详细过程(亲测四台有效）
qq_43532434的博客
06-17 5404
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop高可用集群搭建
07-24
Hadoop高可用集群搭建
Hadoop集群高可用的搭建
05-31
在构建Hadoop集群时，高可用（High Availability, HA）是一个关键特性，它旨在消除单点故障，确保服务的连续性和稳定性。本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High ...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
Hadoop2.7.3-HA 集群搭建（传智播客）
zzShine的专栏
01-07 2461
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等集群规划主机名 IP 安装的软件 运行的进程 mini01 192.168.175.141 jdk、hadoop NameNod
Hadoop的高可用集群搭建
dagebaobao的博客
01-16 1860
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop...
Hadoop高可用集群搭建（HA）
韩利鹏
01-26 207
Hadoop高可用集群搭建（HA）1. 环境介绍1.1 版本说明1.2 集群规划1.3 HA说明2. HA集群安装配置2.1 搭建Hadoop前期工作2.2 搭建zookeeper2.2.1 解压zookeeper2.2.2修改配置2.2.3 拷贝zookeeper到其他节点2.3 安装配置Hadoop集群（在mini01上操作）2.3.1 解压Hadoop2.3.2 配置环境变量2.3.3 修改...
HadoopHA高可用集群搭建
weixin_44161551的博客
01-25 231
HadoopHA高可用集群是Hadoop2.0出的新特性，是解决Hadoop1.0的单点故障所推出的，1.0的时候Hadoop用SencondaryNamenode 来定时合并日志（edits）和映像（fsimage）,它是Hadoop1.0的备份，它是一个小时合并一次，所以Namenode宕机的时候，会丢失 一个小时的数据，而且需要把Hadoop集群停掉处理，所以SencondaryNameno...
Hadoop高可用集群搭建(实操、干货)
跳蛙pass的博客
07-07 491
Hadoop 一、HDFS-HA 集群配置 1.1 配置 HDFS-HA 集群 1.官方地址：http://hadoop.apache.org/ 2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布 式环境已经安装完成。 hadoop102 hadoop103 JournalNode JournalNode 3.在 hadoop102 配置 core-site.xml <configuration> <!-- 把两个 N
hadoop HA高可用集群实战
有勇气的牛排博客
10-12 1336
HA（high available），即高可用（24h不中断服务）实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF）NameNode主要存在以下两个方敏影响HDFS集群。NameNode机器发生意外，如宕机，集群无法使用，直到管理员重启。NameNode机器需要升级，包括软件，硬件升级，此时集群也将无法使用。
Hadoop高可用模式 集群搭建与管理（一)
路西法的博客
08-29 525
目录 1 简介.. 1 1.1 单机模式：Single Node Cluster1 1.2 完全分布式模式：Full Distributed Cluster1 1.3 高可用模式：HA Cluster2 1.4 高可用联邦模式：HA + Federation Cluster2 2 目的.. 3 2.1 NameNode HA.. 3 2.2 ResourceManager
Docker Compose 搭建高可用hadoop集群
06-13
好的，我可以为您介绍一下如何使用 Docker Compose 搭建高可用的 Hadoop 集群。 首先，您需要安装 Docker 和 Docker Compose。然后，您可以创建一个 `docker-compose.yml` 文件来定义您的 Hadoop 集群。以下是一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zerooooooooooooooooo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值