Hadoop（5）HDFS的读流程和写流程

最新推荐文章于 2024-06-24 22:53:05 发布
最新推荐文章于 2024-06-24 22:53:05 发布
阅读量3.7k 收藏 7
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28893679/article/details/80586714
版权

1、写流程

这里写图片描述

如上：client表示客户端，NameNode为主，DataNode为从，要存储的数据为Data
1、客户端向NameNode发起请求，需要存储数据Data
2、因为NameNode中是记录了所有DataNode的相关信息的，而数据最终要保存的地方就是DataNode，所以NameNode会返回可用的DataNode的信息给客户端
3、将Data分为1和2这两个数据块
4、客户端会将数据块存储到NameNode返回给他的DataNode1中去
5、因为数据块需要存储多份，所以DataNode之间会相互传输来进行存储
6、DataNode存储完数据后，会反馈给NameNode，NameNode会将对应的DataNode的相关信息进行更新
这里写图片描述

2、读流程

这里写图片描述

1、客户端向NameNode发起请求，需要获取名字为1的数据块
2、NameNode中保存了该数据块存储的位置，将DataNode的信息返回给客户端
3、客户端就近的方式去从DataNode获取数据
4、如果某个DataNode无法访问
5、从另一个DataNode中去获取数据
这里写图片描述

古月的三个锦囊
关注
【hadoop_读写流程】
weixin_47922102的博客
11-17 854
nn回去检查这个路径的文件是否已经存在，是否有权限能够创建这个文件，2.Client 不一定在DN节点，随机选择一个DN。3.HDFS 副本放置策略 【面试，生产都会用到】此时，任然没有写数据，不关联任何的block块。hadoop 、hive hadoop用户。放置在第一个副本的不同机架上的某个DN节点。杀死进程：kill -9 pid 暴力杀死。hive 创建一个hive用户。生产上读写操作，选择DN节点进行读取。1.放置在client上传的DN节点。杀死进程 ： kill id;
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1176
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
hadoop 读流程和写流程
莫等闲
03-02 795
hadoop HDFD读流程 hadoop HDFD写流程 package com.lhj.hadoop; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; impo
000005 - HDFS 读写流程
最新发布
张--小涛涛
06-24 1144
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
Hadoop 写流程
weixin_47072624的博客
05-08 249
写的过程中：NameNode会给块分配存储块的位置，每次想要存储文件的时候都会在NameNode创建一个path，之后HDFSClient读取和写入数据都是先访问这个NameNode中的path去找从何处去下载文件或者上传文件到哪里，具体的NameNode怎么去分配块的存储位置根据的是图一的原则。 文件写流程的实例辅助理解： 假如我们有一个文件test.txt，想要把它放到Hadoop上，执行如下命令： 引用 # hadoop fs -put /usr/bigda...
hadoop 流程 细节详解
xiaomin1991222的专栏
10-05 128
通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。   Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分。要想了解MR，Shuffle是必须要理解的。了解Shuffle的过程，更有利于我们在对MapReduce job性能调优的工作有帮助，以及进一步加深我们队MR内部机理的了...
hadoop读流程
zzw_17600691357的博客
04-11 154
读操作语言描述 1.使用客户端Distributed FileSystem对象，通过RPC连接调用NameNode获取文件的block信息，对于每个block，NameNode会返回存有block副本信息的DataNode的地址，返回的地址会通过这些DataNode与客户端的距离进行排序 2.Distribute FileSystem 会返回一个FSDataInputStream对象，该对象内封...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2085
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并
希望每天都能进步一点点
01-18 1292
Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容
Hadoop（HDFS).docx
04-18
### Hadoop HDFS知识点解析 #### 一、HDFS产出背景及定义 随着信息技术的快速发展，数据量呈现出爆炸性增长的趋势。传统的数据存储方法已经难以满足海量数据的存储需求。在这种背景下，分布式文件系统...
hadoop写流程
zzw_17600691357的博客
04-10 231
1.调用客户端对象Distributed FileSystem的create方法 2.Distributed FileSystem会向NameNode发起一个RPC连接，请求创建一个文件，NameNode会通过一系列的检查，判断要创建的文件是否存在以及客户端是否有创建该文件的权限。 若要创建的文件不存在，以及客户端存在创建该文件的权限。NameNode会创建该文件，实质上是向edits log文件...
HDFS 写流程
架构师思考实践
07-10 469
待写，敬请期待
HDFS写流程
qq_39892028的博客
12-05 334
1.写流程 hdfs dfs -ls / hdfs文件系统的根目录 而不是Linux hdfs dfs -ls hdfs://hadoop002:9000/ hdfs://hadoop002:9000 来自core-site.xml hdfs dfs -ls 读取当前命令操作的用户的路径 /...
hadoop学习笔记（六）：HDFS文件的读写流程
weixin_30467087的博客
04-26 106
一、HDFS读取文件流程： 详解读取流程： Client调用FileSystem.open()方法： 　　1 FileSystem通过RPC与NN通信，NN返回该文件的部分或全部block列表（含有block拷贝的DN地址）。 　　2 选取举栗客户端最近的DN建立连接，读取block，返回FSDataInputStream。 Client调用输入流的read()方法： 　　1 当...
Hadoop 文件读流程
qq_30130043的博客
05-24 398
1）流程图2）流程解读 1. 客户端执行命令（或者代码读取），调用的是dfs的FileSystem.open的方法，open传的是文件路径 2. 根据文件路径去NN找，NN把block块和所在位置的信息的映射关系，返回给一个FSDataInoputStream的对象 3. 客户端拿到FSDataInoputStream对象（即block块地址列表），根据最近的网段去循环...
Hadoop-HDFS写流程（从命令行到完成）
lu070828的博客
01-16 1652
DataStreamer线程从dataQueue中拾取数据包，将其发送到管道中的第一个数据节点，并将其从dataQueue移动到ackQueue。当一个块的所有数据包都被发送出去，并且每个数据包的acks都被接收到时，DataStreamer就会关闭当前块。创建后，该文件可见，可供其他客户端读取。9、界面无报错，通过命令（hadoop fs -du -h /user/hhs/test_dir）查看结果 （如果可能也会报错，DataStreamer会进行维护将原始管道中消除坏的数据节点来设置新的管道）
一起重新开始学大数据-hadoop篇-Day45-hdfs解析和zookeeper安装
tiand7的博客
08-30 480
一起重新开始学大数据-hadoop篇-Day45- hadoop启动脚本 详细启动脚本介绍 第一种：全部启动集群所有进程 启动：sbin/start-all.sh 停止：sbin/stop-all.sh 第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程 启动：sbin/start-dfs.sh sbin/start-yarn.sh 停止：sbin/stop-dfs.sh sbin/stop-yarn.sh 每次重新启动集群的时候使用 第三种：单独启动某一个进程
Hadoop提交作业------>hadoop工作流程
小虹尘的博客
12-08 5535
一 、需要知道的内容 1.ResourceManager ------>yarn的老大 2.NodeManager        ------>yarn的小弟 3.ResourceManager调度器   a.默认调度器------>先进先出FIFO                                b.公平调度器------>每个任务都有执行的机会 ...... 4.心跳
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值