HDFS写数据流程

最新推荐文章于 2024-08-30 01:29:11 发布
最新推荐文章于 2024-08-30 01:29:11 发布
阅读量95 收藏
点赞数
分类专栏： 大数据导论作业 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/why0104/article/details/120981107
版权

HDFS写数据流程

  1. 首先客户端向NameNode发送请求
  2. NameNode收到请求并检查目录（检查文件所在路径和此文件是否在HDFS上存在）
  3. NameNode检查完毕后允许客户端上传
  4. 客户端向NameNode发送上传Block1的请求
  5. NameNode查询DateNode是否活跃和空间是否足够的信息，继而筛选
  6. 允许客户端上传Block1到DateNode1,DateNode2,DateNode3
  7. 然后客户端选择离自己最近的那个DateNode1发送请求
  8. 建立一个pipeline
  9. 客户端利用pipeline管道上传数据   
  10.     所有DateNode都保存完数据后向客户端和NameNode发送上传完成的消息                                                                                         

 

 

 

 

 

why0104
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hdfs读写数据流程
Tyshawn的博客
04-29 4296
一：Hdfs读数据流程 1、跟namenode通信查询元数据，找到文件块所在的datanode服务器 2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验） 4、客户端以packet为单位接收，先在本地缓存，然后写入目标文件 二：Hdfs写数据
HDFS 读写数据流程
程序猿进阶
06-11 2197
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读写数据流程
eli的博客
11-16 3857
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读写数据流程详解
qq_41544550的博客
11-17 2367
HDFS写数据流程 步骤： 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端...
HDFS写数据流程简述
久醉绕心弦的博客
07-10 1116
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 ..
HDFS读写数据流程（详解）
qq_654603797
06-28 1887
HDFS写数据流程 客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 NameNode返回是否可以上传。 客户端请求第一个Block上传到哪几个DataNode服务器上。 NameNode返回3个DataNode节点，分别为DN1,DN2,DN3。 客户端通过FSDataOutputStream模块请求DN1上传数据，DN1收到请求会继续调用DN2，然后DN2调用DN3，将这个通信管道建立完成。
hdfs 读写数据流程
weixin_46376562的博客
07-18 691
具体流程：
HDFS读写流程详细过程
m0_57697768的博客
05-29 9622
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 555
HDFS读写数据流程
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1451
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
hadoop日志文件
qq_41081716的博客
08-30 531
路径：/opt/homebrew/Cellar/hadoop/3.4.0/libexec/logs从你提供的输出信息来看，你正在查看 Hadoop 的日志文件目录 (logs目录)。这里列出了 Hadoop 各个组件的日志文件。
Hadoop常用命令
qq_41081716的博客
08-29 282
【代码】Hadoop常用命令。
Hadoop组件
qq_41081716的博客
08-29 698
Pig、Hive和Mahout等工具则提供了更高层次的功能，使开发者更容易利用Hadoop的强大功能。Hive：一个数据仓库工具，可将结构化的数据文件映射为一张数据库表，并提供SQL样式的查询能力。Map/Reduce：Hadoop的核心计算模型，将大任务分解为小任务并在集群上的多台计算机上并行运行。HDFS（Hadoop Distributed File System）：Hadoop的分布式文件系统，设计用来存储非常大的文件，具有高容错性和高吞吐量的特点。的大数据处理框架，由。
hadoop的sbin
qq_41081716的博客
08-29 1035
Hadoop 的sbin目录下包含了一系列 shell 脚本，用于启动、停止和管理 Hadoop 的各个组件和服务。
决策概率论，一文读懂群体决策概率与个体决策概率的关系
最新发布
09-04
有一本书叫做《乌合之众》把群体批得一无是处，然而另一本书《群体的智慧》又阐述群体是有智慧的，群体越大，智慧越高。 读了这篇决策概率论的文章，让你对于群体和个体不再迷茫。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值