Big Data>HDFS讲义（7）

最新推荐文章于 2024-04-21 18:48:10 发布
最新推荐文章于 2024-04-21 18:48:10 发布
阅读量255 收藏 1
点赞数 1
分类专栏： Big Data 文章标签： Big Data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44509920/article/details/102989585
版权
本文详细介绍了Hadoop HDFS的HA（高可用）机制，包括Namenode HA的Namenode间共享日志的QJM方案，以及Failover Controller的角色。此外，还提到了Yarn的HA服务启动步骤，并简单阐述了HDFS Federation的概念和设计，以解决NameNode的扩展性问题。
摘要由CSDN通过智能技术生成

文章目录

9、hdfs的HA以及Yarn的HA高可用

  • Namenode HA介绍
    Hadoop1.X版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等）
    在这里插入图片描述
    HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。
    在HA具体实现方法不同情况下，HA框架的流程是一致的, 不一致的就是如何存储、管理、同步edits编辑日志文件。
    在Active NN和Standby NN之间要有个共享的存储日志的地方，Active NN把edit Log写到这个共享的存储日志的地方，Standby NN去读取日志然后执行，这样Active和Standby NN内存中的HDFS元数据保持着同步。一旦发生主从切换Standby NN可以尽快接管Active NN的工作

  • Namenode HA详解
    Hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法（分布式一致性算法）实现的HDFS HA方案，它给出了一种较好的解决思路和方案,QJM主要优势如下：
    不需要配置额外的高共享存储，降低了复杂度和维护成本。
    消除spof(单点故障)。
    系统鲁棒性(Robust)的程度可配置、可扩展
    在这里插入图片描述
    基本原理就是用2N+1台 JournalNode 存储EditLog，每次写数据操作有>=N+1返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。这个原理是基于Paxos算法。
    在HA架构里面SecondaryNameNode已经不存在了，为了保持standby NN时时的与Active NN的元数据保持一致，他们之间交互通过JournalNode进行操作同步。
    任何修改操作在 Active NN上执行时，JournalNode进程同时也会记录修改log到至少半数以上的JN中，这时 Standby NN 监测到JN 里面的同步log发生变化了会读取 JN 里面的修改log，然后同步到自己的目录镜像树里面，如下图：
    在这里插入图片描述
    当发生故障时，Active的 NN 挂掉后，Standby NN 会在它成为Active NN 前，读取所有的JN里面的修改日志，这样就能高可靠的保证与挂掉的NN的目录镜像树一致，然后无缝的接替它的职责，维护来自客户端请求，从而达到一个高可用的目的。
    在HA模式下，datanode需要确保同一时间有且只有一个NN能命令DN。为此：
    每个NN改变状态的时候，向DN发送自己的状态和一个序列号。
    DN在运行过程中维护此序列号，当failover时，新的NN在返回DN心跳时会返回自己的active状态和一个更大的序列号。DN接收到这个返回则认为该NN为新的active。
    如果这时原来的active NN恢复，返回给DN的心跳信息包含active状态和原来的序列号，这时DN就会拒绝这个NN的命令

  • Failover Controller
    HA模式下，会将FailoverController部署在每个NameNode的节点上，作为一个单独的进程用来监视NN的健康状态。FailoverController主要包括三个组件:
    HealthMonitor: 监控NameNode是否处于unavailable或unhealthy状态。当前通过RPC调用NN相应的方法完成。
    ActiveStandbyElector: 监控NN在ZK中的状态。
    ZKFailoverController: 订阅HealthMonitor 和ActiveStandbyElector 的事件，并管理NN的状态,另外zkfc还负责解决fencing（也就是脑裂问题）。
    上述三个组件都在跑在一个JVM中，这个JVM与NN的JVM在同一个机器上。但是两个独立的进程。一个典型的HA集群，有两个NN组成，每个NN都有自己的ZKFC进程
    在这里插入图片描述
    ZKFailoverController主要职责：

  • 健康监测：周期性的向它监控的NN发送健康探测命令，从而来确定某个NameNode是否处于健康状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于一个不健康的状态

  • 会话管理：如果NN是健康的，zkfc就会在zookeeper中保持一个打开的会话，如果NameNode同时还是Active状态的，那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode，当这个NN挂掉时，这个znode将会被删除，然后备用的NN将会得到这把锁，升级为主NN，同时标记状态为Active

  • 当宕机的NN新启动时，它会再次注册zookeper，发现已经有znode锁了，便会自动变为Standby状态，如此往复循环，保证高可靠，需要注意，目前仅仅支持最多配置2个NN
    master选举：通过在zookeeper中维持一个短暂类型的znode，来实现抢占式的锁机制，从而判断那个NameNode为Active状态

HA服务的启动

  • 第一步：初始化zookeeper
    在node01机器上进行zookeeper的初始化，其本质工作是创建对应的zookeeper节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs zkfc –formatZK

在这里插入图片描述

  • 第二步：启动journalNode
    三台机器执行以下命令启动journalNode，用于我们的元数据管理
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh start journalnode
  • 第三步：初始化journalNode
    node01机器上准备初始化journalNode
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs namenode -initializeSharedEdits –force

在这里插入图片描述

  • 第四步：启动namenode
node01机器上启动namenode
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh start namenode


node02机器上启动namenode
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
  • 第五步：启动所有节点的datanode进程
    在node01机器上启动所有节点的datanode进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemons.sh start datanode
  • 第六步：启动zkfc
在node01机器上面启动zkfc进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh start zkfc


在node02机器上面启动zkfc进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh start zkfc
  • 第八步：启动jobhsitory
    node03节点启动jobhistoryserver
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/mr-jobhistory-daemon.sh start historyserver

  • 第九步：浏览器界面访问
    node01机器查看hdfs状态
    http://192.168.52.100:50070/dfshealth.html#tab-overview
    node02机器查看hdfs状态
    http://192.168.52.110:50070/dfshealth.html#tab-overview

  • yarn集群访问查看
    http:// 192.168.52.100:8088/cluster

  • 历史任务浏览界面
    页面访问：
    http://192.168.52.120:19888/jobhistory

10、Hadoop Federation介绍

  • 背景概述
    单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。因而提出了namenode水平扩展方案-- Federation。
    Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。多个NameNode的情况意味着有多个namespace(命名空间)，区别于HA模式下的多NameNode，它们是拥有着同一个namespace。既然说到了NameNode的命名空间的概念,这里就看一下现有的HDFS数据管理架构,如下图所示:
    在这里插入图片描述
    从上图中,我们可以很明显地看出现有的HDFS数据管理,数据存储2层分层的结构.也就是说,所有关于存储数据的信息和管理是放在NameNode这边,而真实数据的存储则是在各个DataNode下.而这些隶属于同一个NameNode所管理的数据都是在同一个命名空间下的.而一个namespace对应一个block pool。Block Pool是同一个namespace下的block的集合.当然这是我们最常见的单个namespace的情况,也就是一个NameNode管理集群中所有元数据信息的时候.如果我们遇到了之前提到的NameNode内存使用过高的问题,这时候怎么办?元数据空间依然还是在不断增大,一味调高NameNode的jvm大小绝对不是一个持久的办法.这时候就诞生了HDFS Federation的机制

Federation架构设计

HDFS Federation是解决namenode内存瓶颈问题的水平横向扩展方案。
Federation意味着在集群中将会有多个namenode/namespace。这些namenode之间是联合的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。分布式的datanode被用作通用的数据块存储存储设备。每个datanode要向集群中所有的namenode注册，且周期性地向所有namenode发送心跳和块报告，并执行来自所有namenode的命令。
在这里插入图片描述

Federation示例配置

这是一个包含两个Namenode的Federation示例配置：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1</name>
    <value>nn-host1:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1</name>
    <value>nn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondaryhttp-address.ns1</name>
    <value>snn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2</name>
    <value>nn-host2:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2</name>
    <value>nn-host2:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondaryhttp-address.ns2</name>
    <value>snn-host2:http-port</value>
  </property>

  .... Other common configuration ...
</configuration>
BigMoM1573
关注
专栏目录
HDFS详解
weixin_45555360的博客
08-24 933
技术细节 一、HDFS的架构图 二、Block 数据块（Block）是HDFS中数据的最基本的存储单位 当在HDFS上存储超大文件时，HDFS会以一个标准将文件切分成几块，分别存储到不同的节点上，切出的数据就称为Block Block 默认的大小在Hadoop1.0中是64M，在Hadoop2.0中是128M 切块的优点： 文件块可以保存在不同的节点上，能够存储超大2文件 ...
Big Data>HDFS讲义（3）
qq_44509920的博客
11-07 154
5、Fsimage(记录文件系统的镜像的或者快照)，Edits(记录用户操作日志文件)详解 NameNode元数据解析 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增...
YARN中job的工作流程
weixin_49180684的博客
06-29 664
job工作流程图 首先Yarn是一个资源调度的平台，负责为运算程序提供服务器运算资源，可以看成是一个分布式的操作平台，MapReduce等运算程序则都是可以看成是在操作系统上运行的应用程序。 Yarn的基本架构 Yarn主要就两个常驻进程ResourceManager好、NodeManager和两个临时进程ApplicationMaster和Container等构乘，其中，临时进程只有在有job的时候才会启动 job工作流程 借助上面的两个图来看，结合着理解 1、提交作业，申请jobID client
Hadoop(HDFS)知识点总结
serendipity
02-05 880
第1章 HDFS概论 1.1 HDFS产生背景及定义 1.1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理堕胎机器上的文件， 这就是分布式文件管理系统；HDFS只是分布式文件管理系统中的一种 1.1.2 HDFS定义 HDFS(Hadoop Distributed F...
Big Data>HDFS讲义（6）
qq_44509920的博客
11-09 152
文章目录8、hdfs其他功能介绍多个集群之间的数据拷贝Hadoop归档文件archivehdfs快照snapShot管理快照使用基本语法快照操作实际案例HDFS回收站 8、hdfs其他功能介绍 在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的远程拷贝，Hadoop自带也有命令可以帮我们实现这个功能 ...
Big Data>HDFS讲义（4）
qq_44509920的博客
11-09 370
6、HDFS新增节点与删除节点 服役新数据节点 需求基础：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 ...
Big Data>HDFS讲义（1）
qq_44509920的博客
11-05 472
文章目录1、 Hadoop的文件系统介绍hadoop 的组成部分HDFS分块存储HDFS副本存放机制Hadoop副本节点选择名字空间（NameSpace）Namenode 功能Datanode功能机架感知2、HDFS文件读写流程HDFS-文件写入流程(重点)HDFS-文件读取流程(重点)数据完整性掉线时限参数设置DataNode的目录结构 Hadoop组成 Hadoop HDFS：一个高可靠、...
Big Data>HDFS讲义（2）
qq_44509920的博客
11-05 374
文章目录3、HDFS的shell命令操作HDFS的特性HDFS缺点4、hdfs的高级使用命令HDFS文件限额配置数量限额空间大小限额HDFS安全模式HDFS的文件权限验证 3、HDFS的shell命令操作 1）基本语法 具体命令 bin/hdfs dfs [root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs 2）参数大全 Usage: Hadoop...
Big Data>HDFS讲义（5）
qq_44509920的博客
11-09 450
文章目录7.HDFS的javaAPI操作创建maven工程并导入jar包使用文件系统方式访问数据（掌握）获取FileSystem的几种方式递归遍历文件系统当中的所有文件官方提供的API直接遍历下载文件到本地hdfs上创建文件夹hdfs文件上传javaAPI基本操作HDFS权限问题以及伪造用户HDFS的小文件合并HDFS-Web界面介绍 7.HDFS的javaAPI操作 由于cdh版本的所有的软件涉...
Big Data Tools插件(详细讲解安装，连接，包教包会！！！)_bigdatatools
最新发布
2401_84166327的博客
04-21 684
​ 最近有很多朋友都开始转行大数据竞赛了，大部分都是刚刚入门之类的，我自己是有一些基础的，玩过一段时间，最近很多好友学弟，都问过一个问题就是有没有什么类似于远程控制，或者图形化控制HDFS的插件或者软件啥的，我就想起来有一个插件叫Big Data Tools，之前我学的时候几乎一直都是使用这个插件，巨巨巨好用，就想到出一片文章来为大家讲解一下这个工具，让大家又减少弯路，那就废话不多说了，接下来就是正文了。
nutn_bigdata:Nunn Bigdata课程的回购
03-21
【标题】"nutn_bigdata:Nunn Bigdata课程的回购" 涉及的主要知识点是大数据处理技术，可能包括Hadoop、Spark等分布式计算框架，以及数据处理与分析的工具和环境，如Jupyter Notebook。 【描述】"nutn_bigdata:Nunn ...
HCIA bigdata H13-711 所有题目和考试模拟软件.zip
09-27
"免费：H13-711 HCNA-Big Data 大数据.zip"文件包含了华为HCIA-Big Data认证的复习资料，可能包括讲义、笔记、课件等，这些都是备考的重要资源。考生应仔细研读，结合模拟考试软件进行系统学习。 总结来说，HCIA-...
Big Data>大数据基础知识
qq_44509920的博客
10-27 676
大数据基础知识 内容概要 什么是服务器？ 什么是RAID？ 什么是集群？ 什么是网络？ 什么是交换机、局域网？ 什么是网络拓扑、机架？ 网卡介绍 高铁为什么快？ 什么是服务器？ 服务器: 也称伺服器，是一种高性能计算机，提供计算服务的设备 服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。 由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性...
Big Data>大数据介绍&大数据项目流程介绍
qq_44509920的博客
10-27 579
什么是大数据？ 大数据 ：指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据 大数据的特点 主要特点 海量化（Volume） 数据量从TB到PB级别 多样化（Variety） 数据类型复杂，超过80%的数据是非结构化的 快速化（Velocity) 数据量在持续增加(两位数的年增长率) 数据的处理速度要求高 高价值（Value） 在海量多样数据的快速分析下能够发挥出...
Big Data>第三部分《Hadoop集群搭建》
qq_44509920的博客
11-04 529
1.CDH版本Hadoop重新编译 2.一：大数据集群安装部署 3. 二：CDH 分布式环境搭建 4.Hadoop集群初体验 5.MapReduce的jobHistory介绍
Big Data＞简答题
qq_44509920的博客
11-10 530
1.一个文件100M，上传到HDFS占用几个快？一个块128M，剩余的28M怎么办？ 事实上，128只是个数字，数据超过128M，便进行切分，如果没有超过128M，就不用切分，有多少算多少，不足128M的也是一个快。这个快的大小就是100M，没有剩余28M这个概念。 2.大数据为什么这么快?与传统数据相比有什么不同点? a.传统数据纵向扩展,服务器数量不发生变化,配置越来越高,大数据横向扩展,配...
Big Data>第一部分《大数据概述》
qq_44509920的博客
11-01 264
传统数据与大数据处理方式对比 系统硬盘（100%完全独立，不要存储业务数据） 大数据技术为什么快 1、传统数据纵向扩展 服务器数量不发生变化，配置越来越高（发生变化） 大数据横向扩展 配置不发生变化，服务器数量越来越多（发生变化） 2 传统的方式资源（cpu/内存/硬盘）集中 大数据方式资源（cpu/内存/硬盘）分布(前提：同等配置的前提下) 3 传统数据备份方式单份备份 大数据数据备份方式...
Big Data>第二部分《Hadoop详解》
qq_44509920的博客
11-01 214
Hadoop三大公司发型版本介绍 1、免费开源版本apache：http://Hadoop.apache.org/ 优点：拥有全世界的开源贡献者，代码更新迭代版本比较快， 缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，学习可以用，实际生产工作环境尽量不要使用 apache所有软件的下载地址（包括各种历史版本）：http://archive.apache.org/dis...
big data tools 连不上hdfs
03-30
4. 检查您的big data工具的配置文件。确保您正确配置了HDFS的连接信息，并且用户名和密码正确。 如果您仍然无法连接到HDFS，请尝试查看HDFS服务日志以获取更多信息。您可以在以下位置查找日志文件： ``` /var/log/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值