Hadoop的读写流程

最新推荐文章于 2024-07-07 00:00:00 发布
最新推荐文章于 2024-07-07 00:00:00 发布
阅读量963 收藏 5
点赞数 2
分类专栏： hadoop 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42278668/article/details/127306407
版权

HDFS的读流程

在这里插入图片描述
1.HDFS采用的是“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
2. client让NameNode获取该文件信息：所有的数据块，以及数据块对应的DataNode位置
3. client先从最近的DataNode获取数据块，然后将重复执行，获取到所有的数据块
4. 数据存储已经按照客户端与DataNode节点之间的距离进行了排序，距客户端越近的DataNode节点被放在最前面，客户端会优先从本地读取该数据块。

HDFS的写流程

在这里插入图片描述

  1. HDFS中的存储单元是block。文件通常被分成64或128M(默认是128M)一块的数据块进行存储。与普通文件系统不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。每一个block会在DataNode中有多个副本，一般分为三份
  2. NameNode根据存储数据块的地址进行排序，将数据推送给DataNode，直到将三份数据发送到DataNode中
  3. 当DataNode完成之后会向NameNode发送通知
  4. 所有文件块写入完成，NameNode收到通知发送到client端，让客户端关闭文件
  5. 客户端进行文件的分割，NameNode进行数据块分配DataNode地址，DataNode对数据进行存储
木子民
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【hadoop_读写流程】
weixin_47922102的博客
11-17 824
nn回去检查这个路径的文件是否已经存在，是否有权限能够创建这个文件，2.Client 不一定在DN节点，随机选择一个DN。3.HDFS 副本放置策略 【面试，生产都会用到】此时，任然没有写数据，不关联任何的block块。hadoop 、hive hadoop用户。放置在第一个副本的不同机架上的某个DN节点。杀死进程：kill -9 pid 暴力杀死。hive 创建一个hive用户。生产上读写操作，选择DN节点进行读取。1.放置在client上传的DN节点。杀死进程 ： kill id;
Hadoop的写和读流程
qq_43662627的博客
09-03 257
写流程 1.启动NN进程，提供分布式客户端 2.客户端发送写请求，NN判断是否有权限，路径是否合法 3.NN进程判断合法，返回允许上传文件 4.客户端根据文件设置大小，请求NN发送DN列表 5.NN进程根据文件副本数，根据机架感知，返回dn列表 6.客户端会请求举例最近的DN节点，再由DN列表中的每个DN节点都请求举例最近的DN节点，建立数据传输通道 7.通道建立完成，客户端将第一块的数据，封装为一个个packet，发送到通道的下一个节点 通道的每一个DN节点在收到packet后，进行校验，检验合法，罗
一起重新开始学大数据-hadoop篇-Day45-hdfs解析和zookeeper安装
tiand7的博客
08-30 445
一起重新开始学大数据-hadoop篇-Day45- hadoop启动脚本 详细启动脚本介绍 第一种：全部启动集群所有进程 启动：sbin/start-all.sh 停止：sbin/stop-all.sh 第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程 启动：sbin/start-dfs.sh sbin/start-yarn.sh 停止：sbin/stop-dfs.sh sbin/stop-yarn.sh 每次重新启动集群的时候使用 第三种：单独启动某一个进程
Hadoop读写操作（HDFS运行机制）
Hubert的博客
12-28 2239
目录一、HDFS读写数据流程1、HDFS读数据流程2、HDFS的写数据流程二、NN、2NN、DN工作机制1、HDFS读数据流程 一、HDFS读写数据流程 1、HDFS读数据流程 客户端通过Distributed FileSystem（分布式文件系统）向NameNode（索引）请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode（存储数据）地址； 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据； DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，
Hadoop练习题002
C_x_330的博客
12-30 252
Hadoop练习题002
Hadoop（三）读写流程
weixin_44819454的博客
05-30 1109
Remote Procedure Call RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机(client)/服务器(server)模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进
Hadoop读写流程与2x架构-详细分析
12-22
机架感知策略，三者的作用（DateNode，NameNode，SecondNameNode）
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的...可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
HADOOP大数据平台系统思路流程图.rar
05-10
HBase是一个基于HDFS的NoSQL数据库，适合实时读写操作，可以和Hadoop无缝集成，提供低延迟的数据访问。Spark则是一个用于大规模数据处理的快速、通用和可扩展的引擎，通过内存计算显著提高了数据处理速度。Flink是一...
hadoop源代码存档
07-13
4. MapReduce工作流程：分析job.xml配置文件，理解JobTracker如何解析和调度任务，TaskTracker如何执行任务，以及shuffle和sort过程的实现。 5. 容错机制：探究Hadoop如何实现硬件故障的自动检测和数据恢复，如心跳...
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）
Matrix70的博客
08-08 2829
NameNode根据一定的策略选择可用的DataNode，并为文件的每个数据块分配一个主节点（Primary DataNode）和多个副本节点（Replica DataNode），NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表，将数据切分成数据块，并按照指定的策略将这些数据块依次写入各个DataNode的数据节点。主节点将数据块按照指定的格式进行存储，并将数据复制到副本节点。数据复制和同步：主节点将数据块的副本传输给其他副本节点，并协调副本节点之间的数据同步，保证数据的一致性。
Hadoop：HDFS读写数据的过程。
weixin_53571731的博客
07-20 847
6、客户端开始往第一个DataNode上传第一个Block（先从磁盘读取数据放到本地内存缓存），以Packet为单位，当第一个DataNode收到一个Packet就会传给第二个DataNode，然后传给第三个DateNode。5、客户端通过FSDataOutputSTream模块请求第一个DataNode上传数据，第一个DataNode收到请求后会继续调用第二个DataNode，然后第二个DataNode调用第三个DataNode，将这个通信管道建立完成，三个DataNode逐级应答客户端。
Hadoop HDFS 读写流程
lucklilili
08-16 286
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 NameNode 返回是否可以上传。 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 ...
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
星光不问赶路人，岁月不负有心人
05-22 773
Hadoop基础学习---4、HDFS写、读数据流程、NameNode和SecondaryNameNode、DataNode
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 587
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读写流程详细过程
m0_57697768的博客
05-29 8882
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
Hadoop-YARN-Tutorial
最新发布
喻师傅的学习笔记
07-07 1104
Yarn
【大数据学习资料】大数据框架知识点总结.pdf
04-08
"大数据框架知识点总结，主要关注Hadoop的HDFS读写流程及NameNode与SecondaryNameNode的工作机制。" 在大数据处理领域，Hadoop是一个关键的开源框架，其分布式文件系统（HDFS）提供了高容错性和高吞吐量的数据存储...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值