Hadoop架构介绍——HDFS的体系结构

最新推荐文章于 2024-07-22 02:03:54 发布
最新推荐文章于 2024-07-22 02:03:54 发布
阅读量1.6w 收藏 14
点赞数 2
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013063153/article/details/53114678
版权
Hadoop的HDFS设计目标包括处理硬件故障、流式数据访问和数据一致性。系统采用Master-Slave模式，NameNode作为中心服务器管理文件系统，而DataNode分布在全球各地存储并检索数据块。每个DataNode保存文件的3个副本，其中2个在同一机架，另一个在不同机架。元数据通过Fsimage和EditLog备份，NameNode结合两者更新内存中的元数据。HDFS使用TCP协议进行节点间通信，DataNode每3秒发送心跳，10次心跳后报告数据块信息。数据写入和读取流程涉及NameNode和DataNode的交互，确保数据可靠性和可用性。
摘要由CSDN通过智能技术生成

设计目标：

-（硬件故障是常态，而非偶然）自动快速检测应对硬件错误

-流式访问数据（数据批处理）

-转移计算比移动数据本身更划算（减少数据传输）

-简单的数据一致性模型（一次写入，多次读取的文件访问模型）

-异构平台可移植


HDFS体系结构


最低0.47元/天 解锁文章
u013063153
关注
专栏目录
HDFS的体系结构
QYHuiiQ
04-07 1386
在HDFS中使用的是主从结构，即一个主节点，多个从节点。 在HDFS中主要包含四部分：Client(Shell命令/API/Java Application)、NameNode、DataNode、SecondaryNameNode。 NameNode节点负责维护DataNode上各个块的metadata以及整个HDFS的目录树结构，并且还会将内存中的块的metadata以及fsimage、edits等持久化文件进行备份，以防宕机时数据丢失。 fsimage文件中保存了整个HDFS中的目录树结构、我们的
HDFS 原理、架构与特性介绍
01-11 391
1：当前HDFS架构详尽分析 HDFS架构 1、NameNode 2、DataNode 3、Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构： ${ dfs.name.dir}/current /VERSION
图解 Hadoop 架构 ｜Yarn、MapReduce
最新发布
面向生活编程
07-22 1241
YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统的一个关键组件，用于集群资源管理和作业调度，是 Hadoop 的第二代资源管理器，取代了早期版本中的 MapReduce 作业调度器，为大规模数据处理提供了更灵活和高效的资源管理框架。尽管 MapReduce 在大数据处理方面取得了巨大成功，但随着数据处理需求的多样化，其他更灵活和高级的计算模型和框架也得到了发展和应用，如 Spark、Flink 等。后续会出一篇关于 YARN 详细笔记，这里不过多赘述～
HDFS体系结构简介及优缺点
nankangren123的专栏
03-10 1114
1 HDFS体系结构简介及优缺点 1.1体系结构简介  HDFS是一个主/从（Mater/Slave）体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD（Create、Read、Update和Delete）操作。但由于分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode
Hadoop组件——HDFS
m0_47792921的博客
09-01 376
1，HDFS简介 HDFS（Hadoop Distributed File System）是hadoop项目的核心子项目，在大数据开发通过分布式计算对海量数据进行存储与管理。它基于流数据模式访问和处理超大文件的需求而开发，可以运行在廉价的商用服务器上，为海量数据提供了不怕故障的存储方法，进而为超大数据集的应用处理带来了很多便利。 HDFS的特点： HDFS非常适合使用商业硬件进行分布式存储和分布式处理。它具有容错性，可扩展性，并且扩展极其简单。 HDFS具有高度可配置性。大多...
Hadoop架构介绍——MapReduce的体系结构
11-10 8296
MapReduce的体系结构： (1)分布式编程架构 (2)以数据为中心，更看重吞吐率 (3)分而治之 (4)Map将一个任务分解成多个子任务 (5)Reduce将分解后的多任务分别处理，并将结果汇总为最终的结果 应用举例：清点图书馆藏书、统计单词的出现次数、混合辣椒酱的制作等等。 结构图： 基本概念： 作业(Job)：文件和类的集合 任务(Task
Hadoop 笔记（一） HDFS 和 MapReduce 体系结构
算法笨蛋
04-04 1703
Hadoop 2.0 包含 Common、HDFS、Yarn 和 MapReduce 四个模块，Common 主要为其它模块提供服务，MapReduce 其实是 Yarn 模块里的一种编程方式，实际对外提供服务的只有 HDFS 和 Yarn。 目录CommonHDFS特点体系架构 Common Common是其它模块的公共接口，提供公用API。 它还提供了 mini 集群、本地库、超级用户、服务器认证和 HTTP 认证等功能。 HDFS HDFS 是 Hadoop 文件系统，提供了高容错、高扩展、高可靠的分
分布式存储系统——HDFS
01-14
HDFS的体系结构主要由NameNode和DataNode组成。NameNode是整个文件系统的主节点，负责维护文件系统的元数据，包括文件目录树、文件到数据块的映射以及数据块到DataNode的映射等信息。DataNode则是实际存储数据的节点...
HDFS体系结构(NameNode、DataNode详解)
03-30
HDFS体系结构(NameNode、DataNode详解)
Python入门day11之文件
程序彤的博客
09-27 1081
文件 打开文件 open(‘根目录 用双\’,‘打开模式’) r:只读方式 w:写入文件，覆盖已有内容 x:若文件存在，文件引发异常，若文件不存在，则创建新文件 b:以二进制模式打开文件 t:以文本模式打开文件（默认） +：可读写模式，如果使用r+，可对文件进行继续不覆盖写入；如果使用w+，则会清空文件中所有内容，须重新写入 f = open('D:\\学习\\python学习\\code\\day13\\file.txt','r+') f = open('D:\\学习\\python学习\\code\\d
HDFS体系结构
wealon的技术专栏
12-14 967
HDFS体系结构 ★ 分布式文件系统 一种可以管理分布在不同机器上的文件的操作系统。因为，单一的一台机器上的存储已经不能满足需要。不同主机上的文件可以通过网络进行分享。也叫网络操作系统，即NFS。通过网络访问的文件，对用户和程序来说，如同本地一样。其中HDFS就是其中一种分布式操作系统。适合一次写入，多次读写的情况。 ★ HDFS 常用shell操作 在Hadoop中通过shell命令访问
HDFS体系架构
HYN205的博客
06-16 777
    HDFS是一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。     HDFS是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错性、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储。 HDFS优点/为什么选择HDFS存储数据？ 1、高容错性     1）数据自动保存多个副本。它通过增加副本的形式，提高容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值