2.4 HDFS组成架构

已于 2022-03-28 02:33:31 修改
阅读量184 收藏
点赞数 1
分类专栏： 大数据、算法和数据结构 文章标签： linux 大数据 云计算 hadoop spark
于 2022-03-27 13:44:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43940950/article/details/123772233
版权
本文详细介绍了分布式文件系统HDFS的组成架构，包括计算机集群结构、HDFS的主从节点（NameNode与DataNode）、SecondaryNameNode的角色。HDFS设计目标在于兼容普通硬件，提供高吞吐量数据访问，适合大规模文件存储。NameNode负责元数据管理，DataNode存储数据块，通过DataNode定期心跳报告来监控健康状况。SecondaryNameNode则用于缓解NameNode的EditLog文件过大问题，确保元数据的安全与效率。
摘要由CSDN通过智能技术生成

文章目录

2.4 分布式文件系统HDFS组成架构

2.5 HDFS体系架构

2.6 HDFS存储原理

2.7 HDFS的使用

计算机集群结构

  • 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群

  • 与使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就大大降低了硬件上的开销

  • 在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
炫云云
关注
专栏目录
订阅专栏
2.5 HDFS体系架构
炫云云
03-27 578
感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！ 带你全面理解hadoop大数据。 包含： HDFS体系结构概述 HDFS命名空间管理 HDFS通信协议 客户端 HDFS体系结构的局限性 深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。
HDFS学习笔记
最新发布
qw311113qin的博客
05-28 4208
对于每一个数据块，NameNode 节点返回保存数据块的数据节点的地址。当Active NameNode的命名空间发生变化的时候，它会把这个变化通知所有JN，有的JN收到信息，有的JN是没有收到信息的，如果大部分JN进程接到信息，就认为这个事件是可信的，如果少数的JN接到信息，就认为这个信息是错误的，是屏蔽的，对于可信的信息，standby Namenode才会去同步过来，通过JN这种方式，才能保证Standby Namenode和Active Namenode之间有效信息的一个同步。
大数据技术原理与应用笔记（3）——分布式文件系统HDFS
L_zzwwen的博客
05-11 1887
分布式文件系统HDFS 大数据技术以及具有代表性的Hadoop平台，所要解决的最核心的两大问题是： 大数据的分布式存储 大数据的分布式处理 而HDFS(Hadoop Distributed File System)就是为了解决海量数据的分布式存储问题。 3.1 分布式文件系统 （1）计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 与之前使...
分布式文件系统HDFS
这天有点热的博客
10-17 1200
分布式文件系统HDFS 1、计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 与之前使用多个处理器和专用高级硬件的并行化处理装置不同，目前的分布式文件系统采用的计算机集群，都是普通的硬件构成的，这就大大降低了硬件上的开销。 分布式文件系统在屋里结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫主节点（Master Node）或者也称...
《Hadoop》"呶呶不休"（三）HDFS的存储原理
从明老师的博客
01-14 2024
一、数据块的冗余 为了保证系统的容错性和可用性，hdfs采用了多副本方式对数据块进行冗余存储，也就是一个数据块的多个副本会被分布到不同的Datanode上，存储在Datanode的本地文件系统中。 这种多副本的存储方式有以下优点： 1）加快数据传输速度。当多个客户端需要同时访问同一个文件时，这些客户端可以从不同的数据块副本中读取数据，大大提高了数据的传输速度。2）容易检查数据错误。HDFS...
Hadoop基础学习
weixin_46093984的博客
03-16 1839
Hadoop框架HDFS、MapReduce、YARN三大核心组件的讲解
大数据原理与应用期末答案
langezuibang的博客
05-20 1万+
1.数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段： A. 数据流阶段 B. 运营式系统阶段 C. 用户原创内容阶段 D. 感知式系统阶段 2单选(2分) 第三次信息化浪潮的发生标志是以下哪种技术的普及 A. 物联网、云计算和大数据 B. CPU C. 个人计算机 D. 互联网 3单选(2分) 1TB = ( )MB A. 2^20（备注：2的20次方） B. 1024 C. 1000 D. 2^10（备注：2的10次方） 4单选(2分) Hadoop的两大核心是 和 A. HD
2_HDFS的基本架构，工作原理
nothair的博客
03-01 326
2020/12/10 sunhaiqi@bonc.com.cn 文章目录HDFS的基本架构1.1、Client1.2、NameNode1.3、DataNode1.4、Secondary NameNodeHDFS的工作原理2.1、基本概念2.2、NameNode2.2.1、磁盘与内存2.2.2、NameNode运行原理2.2.3、NameNode工作原理、checkpoint合并机制2.3、DataNode2.3.1、两种文件2.3.2、DataNode工作机制2.3.3、动态服役、退役DataNode节点
hadoop入门指南：理解hdfs存储架构
# 1. 引言 ## 1.1 什么是hadoop？ Hadoop是一个开源的、基于Java的分布式计算框架，最初由Apache软件基金会开发，用于处理大规模数据的存储和分析。...HDFS的存储架构设计对于Hadoop的数据存储、分布式
大数据技术原理学习笔记.docx
11-06
该知识来源于MOOC林子雨老师的《大数据技术原理》，该笔记编写了大数据的发展、为什么需要大数据、大数据有什么用、大数据采用哪些组件等技术原理与知识，对于相关从业者、大学生，是一个梳理自身对大数据的理解的途径。
java管理hdfs文件和文件夹项目hadoop2.4
07-23
它遵循主从架构，由NameNode（主节点）和DataNode（从节点）组成。NameNode负责元数据管理，DataNode则存储实际的数据块。 在Hadoop 2.4版本中，`org.apache.hadoop.fs.FileSystem` API是Java程序与HDFS交互的主要...
大数据基础习题
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
08-10 2万+
填空： 1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类：一类叫__________；另一类叫aaS。 5.NoSQL数据库采用的是__非关系数据__模型。 6.MapReduce1.0采用__Master/Slave 架构设计，包括一个JobTracker和若干TaskTracker 7.RDD是___弹性分布式____数据集。是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 8.阶段/Stage是作业调度的基本单位。 9.colFamily指的是__列族。
HCIA-Big Data华为认证大数据工程师在线课程笔记
L小Ray想有腮
11-19 6790
文章目录简介 简介 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 对比项 数据库 大数据 数据规模 小（以MB为处理单位） 大（以GB、TB、PB为处理单位） 数据类型 单一（结构化为主） 繁多（结构化、半结构化、非结构化） 模式和数据的关系 先有模式后有数据 先有数据后有模式，模式随数据增多不断演变 处理对象 数据（池塘中的鱼） 预测（“鱼”，通过某些鱼判断其它种类的鱼是否存在） 处理工具 One size fits all No si
大数据技术基础笔记3 分布式文件系统HDFS
Lora青蛙的博客
05-10 1715
文章目录3.1 分布式文件系统3.2 HDFS简介3.3 HDFS相关概念3.4 HDFS体系结构 • 3.1 分布式文件系统 • 3.2 HDFS简介 • 3.3 HDFS相关概念 • 3.4 HDFS体系结构 • 3.5 HDFS存储原理 • 3.6 HDFS数据读写过程 • 3.7 HDFS编程实践 3.1 分布式文件系统 计算机集群结构 • 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 • 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布
大数据技术原理与应用学习笔记（七）
风虽大，都绕过我灵魂的博客
06-05 812
大数据技术原理与应用学习笔记（七）本系列历史文章MapReduceMapReduce概述 本系列历史文章 大数据技术原理与应用学习笔记（一） //## 大数据技术原理与应用学习笔记（二） //## 大数据技术原理与应用学习笔记（三） //## 大数据技术原理与应用学习笔记（四） //## 大数据技术原理与应用学习笔记（五） //## 大数据技术原理与应用学习笔记（六） MapReduce MapReduce概述 数据处理能力 ...
大数据技术原理 复习二 hdfs
every place is the center of the universe
09-07 1835
分布式文件系统HDFS 3.1 分布式文件系统 计算机集群结构：分布式文件系统把文件分布存储到多个计算机节点上，降低硬件开销 分布式文件系统的结构：分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫主节点”(Master Node)/名称结点(NameNode)，另 一类叫从节点（Slave Node）/数据节点”(DataNode) 3.2 HDFS简介 目标：兼容廉价硬件设备，流数据读写，大数据及，简单文件模型，强大的跨平台兼容性 局限：不适合低延迟数据访问、无法高效存
名称节点运行期间EditLog不断变大的问题以及解决方案
扣脚小生
08-04 3630
问题： 在名称节点运行期间，HDFS的所有更新操作都是直接写到EditLog中，时间一长， EditLog文件将会变得很大。虽然这对名称节点运行时候没有什么明显影响，但当名称节点重启的时候，名称节点需要先将FsImage里面的所有内容映像到内存中，然后再一条一条地执行EditLog中的记录，当EditLog文件非常大的时候，会导致名称节点启动操作非常慢，而在这段时间内HDFS系统处于安全模式，一...
深入理解HDFS：架构、副本机制与恢复策略
"本文深入探讨了Hadoop分布式文件系统（HDFS）的工作原理、架构和特性，包括NameNode、DataNode、SecondaryNameNode的角色，以及副本机制、负载均衡、机架感知、健壮性和文件删除恢复策略。" 在HDFS中，NameNode是...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炫云云

你的鼓励是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值