HDFS的工作机制和原理

最新推荐文章于 2022-04-13 21:45:27 发布
最新推荐文章于 2022-04-13 21:45:27 发布
阅读量8.2k 收藏 19
点赞数 3
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shiyanshi805/article/details/80478069
版权
HDFS由NameNode和DataNode组成，NameNode管理元数据，DataNode存储文件块。文件按blocksize切分，每个block有多份副本分散在不同节点。客户端通过与NameNode交互进行文件读写，DataNode定期报告文件block信息。HDFS写数据涉及NameNode、Client和DataNode间的RPC通信，建立pipeline传输block。读数据时，Client从NameNode获取文件位置，选择DataNode建立连接并接收数据。
摘要由CSDN通过智能技术生成

1.        HDFS集群分为两大角色：NameNode、DataNode  (Secondary Namenode)

2.        NameNode负责管理整个文件系统的元数据

3.        DataNode 负责管理用户的文件数据块

4.        文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上

5.        每一个文件块可以有多个副本，并存放在不同的datanode上

6.        Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

最低0.47元/天 解锁文章
「已注销」
关注
  • 3
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop中HDFS工作原理
sdlyjzh的专栏
06-06 1万+
Hadoop其实并不是一个产品，而是一些独立模块的组合。
hdfs大规模数据存储底层原理详解（第31天）
最新发布
syhiiu的博客
07-10 1973
本文主要对HDFS如何做到大规模数据存储的详细说明，包括其设计原理、架构、关键技术以及应用实例，
Hadoop分布式文件系统HDFS的工作原理详述
热门推荐
周兆熊的专栏
07-16 1万+
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分布式文件系统 多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。 分布
HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）
weixin_33860722的博客
05-30 177
4.hdfs的工作机制 （工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力） 注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解 4.1 概述 1.HDFS集群分为两大角色：Na...
hdfs工作原理
caodaoxi的专栏
03-19 153
书上和网上有对hdfs讲解的有很多,但是很多讲解的都不是很全面.前段有人问我hdfs工作原理,我说的不是清楚可能是因为平时对知识没有梳理,所以今天痛下决心,抽时间将知识梳理下,同时也希望能帮助那些刚接触hadoop不理解其原理的童鞋能有更深入的认识. 下面我将从以下三个方面来阐述下hdfs的工作原理: 一,当用client向hdfs中写入数据的时候. 当我们向hdfs 写数据的时候,...
hdfs运行机制
weixin_38168590的博客
08-31 180
hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 1、有目录结构，顶层目录是： / 2、系统中存放的就是文件 3、系统可以提供对文件的：创建、删除、修改、查看、移动等功能 hdfs跟普通的单机文件系统有区别： 1、单机文件系统中存放的文件，是在一台机器的操作系统中 2、hdfs的文件系统会横跨N多的机器 3、单机文件系统中存放的文件，是在一台机器的磁盘上...
HDFS的工作机制
RomanyK的博客
04-13 821
深入理解HDFS内部工作机制，掌握HDFS读写流程
Hadoop HDFS原理分析，技术详解
12-01
"Hadoop HDFS原理分析" HDFS（Hadoop Distributed File System）是Hadoop项目的一部分，是一个分布式文件管理系统。...HDFS的架构和工作机理决定了其在大数据处理和存储方面的优越性，但也存在一些缺点需要注意。
HDFS工作原理
NC_NE的博客
10-29 3121
一、HDFS 组成架构 1）NameNode（nn）：就是Master，它是一个主管、管理者。 （1）管理HDFS的名称空间 （2）配置副本策略 （3）管理数据块（Block）映射信息 （4）处理客户端读写请求。 2）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。 （1）存储实际的数据块 （2）执行数据块的读/写操作。 3）Client：就是客户端。 （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block
简述hdfs工作原理_HDFS 原理简述
weixin_42401025的博客
12-24 818
HADOOP基础 HDFS原理​Hadoop是Apache软件基金会开发的一款并行计算框架和分布式文件管理系统。其核心模块包括HDFS，Hadoop common，MapReduce。这里我们简要的介绍HDFS系统，分析其基本架构、原理，本文只涉及HDFS的理论部分，后续将给出详细的HDFS搭建步骤。一、HDFS介绍在当前的工作和研究的环境下，单机容量往往无法满足存储的需要，大量的数据的存储需...
Hadoop介绍，HDFS和MapReduce工作原理
02-27
Hadoop是大数据处理领域的一个核心框架，由Apache软件基金会开发并维护。它是一个开源的分布式计算平台，旨在处理和存储海量数据。...理解并掌握Hadoop的工作原理对于构建和优化大数据处理系统至关重要。
大数据Hadoop中Hdfs的工作原理简洁版
09-18
大数据Hadoop中Hdfs的工作原理可以分为几个主要部分：Hdfs工作原理中主要关键词、SecondaryNamenode的工作机制、Hdfs工作流程、Hdfs的读写流程等。 首先，Hdfs工作原理中主要关键词包括NameNode、SecondaryNameNode...
HDFS的运行机制
Tattoo
12-06 930
HDFS中数据流的读写 HDFS的HA机制 HDFS的Federation机制 HDFS中数据流的读写 什么是RPC？ RPC（Remote Procedure Call）——远程过程调用，是一种协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传...
HDFS的工作原理
万和IT教育
09-25 3543
元数据管理机制 1、文件读取过程 1.客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。 2.DistributedFileSystem通过RPC（远程过程调用）调用NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode就会记录...
介绍一下hdfs和mapreduce的工作原理
03-28
HDFS（Hadoop Distributed File System）是Hadoop中的分布式文件系统，可以存储大规模数据集，具有高可靠性、高容错性和高吞吐量等特点。HDFS将文件划分为多个块（block），并在不同的节点上进行分布式存储，同时提供了数据冗余机制，保证数据的可靠性和容错性。 MapReduce是Hadoop中的分布式计算框架，可以对大规模数据集进行并行处理。MapReduce将数据分为不同的块，每个块都由一个Map任务处理，处理结果再由Reduce任务进行合并。Map任务和Reduce任务可以在不同的节点上并行执行，从而提高了数据处理的效率。 具体来说，MapReduce的工作流程如下： 1. 输入数据被划分为多个块，每个块由一个Map任务处理。 2. Map任务对输入数据进行处理，生成中间结果，中间结果以键值对的形式存储。 3. 中间结果被分组，相同键的结果被分配到同一个Reduce任务中。 4. Reduce任务对中间结果进行合并处理，生成最终结果，最终结果也以键值对的形式存储。 5. 最终结果被输出到指定的存储介质中。 总体来说，HDFS提供了数据的存储和读取功能，MapReduce提供了数据的处理和计算功能，两者联合起来可以实现大规模数据集的分布式存储和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值