第四章 HDFS的读写流程

最新推荐文章于 2024-04-01 10:24:46 发布
最新推荐文章于 2024-04-01 10:24:46 发布
阅读量219 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38358499/article/details/117265036
版权

4.1 HDFS写数据流程

4.1.1 剖析文件写入

4.1.2 网络拓扑-节点距离计算

在HDFS写数据的过程中，NameNode会选择离待上传数据最近距离的DataNode接收数据。节点距离：两个节点到达最近的共同祖先的距离总和。

4.1.3 机架感知（副本存储节点选择）

IDEA，搜索快捷键ctrl+n，源码在BlockPlacementPolicyDefault.java的chooseTargetInOrder方法中

4.2 HDFS读数据流程

琉璃百般枯
关注
专栏目录
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS——写文件流程
hncscwc的博客
08-06 1845
上篇文章讲了数据传输的格式，本文就来说说hdfs中写文件的流程。hdfs客户端写文件的流程，大体可以分为两个步骤：第一步是创建或打开文件，第二步是进行block的写操作。block的写操作...
HDFS文件写入过程
Ele_sorriu的博客
10-12 2万+
文件写入过程 目标：掌握HDFS写入数据的详细过程 详细步骤解析： List itemclient发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； client请求第一个block该传输到哪些DataNode服务器上； NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C； client请求3台DataNode中的一台A上传数据（本质上是一个R
hadoop put内部调用，hdfs写文件流程
aaa1117a8w5s6d的专栏
03-10 5228
HDFS是一个分布式文件系统，在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同，从宏观上来看，在HDFS文件系统上创建并写一个文件，流程如下图（来自《Hadoop：The Definitive Guide》一书）所示： 具体过程描述如下： Client调用DistributedFileSystem对象的create方法，创建一个文件输出流（FSDataOutputStr
HDFS的读写流程步骤（附图文解析）
热门推荐
奇迹虎虎的博客
03-04 3万+
HDFS的写入流程与读取流程，附图文步骤解析
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3709
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
HDFS的读写流程
熊與貓v
09-04 975
一，hdfs的读写流程 1. hdfs的写入流程 文上传流程如下： 创建文件： ①HDFS client向HDFS写入数据，先调用DistributedFileSystem.create() ②RPC调用namenode的create()，会在HDFS目录树中指定的路径，添加新文件；并将操作记录在edits.log中 namenode.create()方法执行完后，返回一个FSDataOutputStream，它是DFSOutputStream的包装类 建立数据流管道pipel.
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2110
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
hdfs的读写流程
最新发布
weixin_38554502的博客
04-01 721
client发起文件上传请求，调用DistributedFileSystem对象的create()方法，在HDFS系统重创建一个新的空文件，该方法在底层调用ClientProtocol.create()方法通过RPC与NameNode建立连接，NameNode检查目标文件是否已经存在，父目录是否存在，并检查用户是否有相应的权限，若检查通过，NameNode会在文件系统目录树下的指定目录下创建一个新文件，但未申请任何Block，并将该操作记录在editlog中，否则的话文件创建失败，客户端得到异常信息。
超详细的HDFS读写流程详解（最容易理解的方式）
香蕉牛奶棒棒槌的博客
03-12 696
HDFS采用的是master/slaves这种主从的结构模型管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。HDFS作为hadoop的分布式储存框架，最重要的莫过于数据流的读写过程了，下面就HDFS得数据流的读写流程做个详细的剖析。 HDFS的写流程 首先写操作的代码操作： hd...
大数据 ------hadoop(HDFS文件写的过程)
weixin_45629153的博客
09-26 427
1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传 2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上 3. NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的DataNode 的地址如: A, B,...
Hadoop学习之路（十一）HDFS的读写详解
weixin_33720956的博客
03-21 401
HDFS的写操作 《HDFS权威指南》图解HDFS写过程          详细文字说明（术语） 1、使用 HDFS 提供的客户端 Client，向远程的 namenode 发起 RPC 请求 2、namenode 会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会 为文件创建一个记录，否则会让客户端抛出异常； 3、当客户端开始写入文件的时候，客户端会将文件切分成多...
Hdfs的文件读写过程
fa124607857的博客
11-14 400
0 Hdfs简介 HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。它们是横跨在多台计算机上的存储系统 优点: 1 很好的处理超大文件 GB TB PB级别 筛分为多个分片 进行分布式处理 2 运行于廉价的商用机器集群上 3 高容错性和高可靠性 副本机制 ...
Hadoop系列（二 ) HDFS原理分析史上最详细，能和面试官吹半个小时
qq_35050438的博客
06-03 1847
文章目录 HDFS架构： NameNode（NN）： SecondaryNameNode（2NN）： DataNode（DN）： ResourceManager（RM）： NodeManager（NM）： HDFS具体工作原理： 一：NN----2NN(元数据节点工作原理) NN--DN（数据存取原理） 二：HDFS读文件流程： 三：HDFS写文件流程： HDFS具体应用： .
HDFS系列(4) | HDFS文件读写流程
不温卜火
04-24 4657
目录
hdfs 中chunk_HDFS写文件过程分析
weixin_42170064的博客
01-17 374
引自：http://shiyanjun.cn/archives/942.htmlHDFS是一个分布式文件系统，在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同，从宏观上来看，在HDFS文件系统上创建并写一个文件，流程如下图(来自《Hadoop：The Definitive Guide》一书)所示：具体过程描述如下：Client调用DistributedFileSystem对象的crea...
第五章 HDFS—存储优化
qq_38358499的博客
06-27 840
说明：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台 服务器的集群。 5.1 纠删码 HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍 的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 5.1.1 纠删码原理 纠删码操作相关的命令：hdfs ec 查看当前支持的纠删码策略：hdfs ec -listPolicies ...
第一章 MapReduce概述
qq_38358499的博客
06-01 761
MapReduce的学习从以下几个方面展开 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能适将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1.2 MapReduce优缺点 1.2.1 优点 易于编程。用户只关系业务逻辑，实现框架的接口； 良好的扩展性。可以动态的增加服务器，解决计算资源不够的问题； 高容错性。任
第二章 Yarn案例实操
qq_38358499的博客
06-22 700
对于hadoop102、103、104进行拍摄Linux快照，后续可恢复快照。
Hadoop HDFS读写流程与NameNode机制解析
"大数据框架知识点总结，主要关注Hadoop的HDFS读写流程及NameNode与SecondaryNameNode的工作机制。" 在大数据处理领域，Hadoop是一个关键的开源框架，其分布式文件系统（HDFS）提供了高容错性和高吞吐量的数据存储...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值