03-HDFS读流程

最新推荐文章于 2024-10-04 18:47:42 发布
最新推荐文章于 2024-10-04 18:47:42 发布
阅读量80 收藏
点赞数
分类专栏： hadoop面经复习 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxing_ba/article/details/124737744
版权

题目：HDFS读流程

画出HDFS读数据的流程图，并进行描述

答案：

在这里插入图片描述
1.客户端通过DistributedFileSystem向NameNode发送请求下载文件，NameNode通过查询元数据返回文件地址
2.挑选一台DataNode服务器（就近原则，然后随机），请求读取数据
3.DataNode向客户端传送数据（以packet为单位）
4.客户端接收数据，以packet为单位，先在本地缓存，写入目标文件

大数据捌圆
关注
专栏目录
Hadoop-HDFS读流程（从输入命令到回显）
lu070828的博客
01-11 1467
因此需要知道这个文件对应的了多少块（包括副本）都在什么哪些节点上以及节点的哪些目录中（那就需要请求NameNode），通过机架感知找到离Client节点最近的文件对应的每个块，然后依次发起读请求（请求DataNode），最后合成结果文件即可。FSNamesystem处已经写了块信息列表是按照和客户端的距离排好序的，这里剔除了坏块DataNode信息和需要忽略的DataNode，然后取列表中的最后一个DataNode来做为最终的DataNode，如果找不到就报告块丢失）
000005 - HDFS 读写流程
张--小涛涛
06-24 1196
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
源码解析-HDFS读流程
尹忠政的博客
11-02 147
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 604
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
Hadoop--HDFS读数据流程
weixin_44976835的博客
03-29 207
读数据流程： 首先创建一个分布式文件系统对象FileSystem。 然后对NameNode请求读取哪一个数据 NameNode返回给客户端文件的元数据 客户端创建FSDATAInputSteam对象 然后根据节点距离和负载等方面选择读取数据的节点 然后关闭资源 读取过程是串行的，分块读取然后拼接 ...
Hadoop-HDFS写流程（从命令行到完成）
lu070828的博客
01-16 1671
DataStreamer线程从dataQueue中拾取数据包，将其发送到管道中的第一个数据节点，并将其从dataQueue移动到ackQueue。当一个块的所有数据包都被发送出去，并且每个数据包的acks都被接收到时，DataStreamer就会关闭当前块。创建后，该文件可见，可供其他客户端读取。9、界面无报错，通过命令（hadoop fs -du -h /user/hhs/test_dir）查看结果 （如果可能也会报错，DataStreamer会进行维护将原始管道中消除坏的数据节点来设置新的管道）
hdfs读流程图_HDFS读写流程
weixin_42511053的博客
02-15 382
1、客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件2、通过 RPC(远程过程调用)调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常3、返回FSDataOutputStream，执行w...
HDFS源码解析---读数据流程
ssjdoudou的博客
03-22 754
打开文件 1、DistributedFileSystem.open 返回FSDataInputStream输入流 public FSDataInputStream open(Path f) throws IOException { return open(f, getConf().getInt("io.file.buffer.size", 4096)); } 2、调用DFSClient.open，返回DFSInputStream @Override public F..
Hadoop --- HDFS介绍
zhoushimiao1990的博客
06-21 2361
HDFS 文件存储系统。适合一次写入，多次读出的场景。HDFS不需要单独安装，安装Hadoop的时候带了HDFS系统。
Hadoop学习从零到一系列课程（2）---HDFS和YARN精讲
06-08
4. **读写流程**：读操作通常从最近或负载较轻的DataNode开始，写操作则将数据块写入所有副本，确保一致性。 5. **故障恢复**：当DataNode故障时，NameNode可以自动检测并重新分配数据块的副本，保持系统的稳定性。...
Hadoop学习笔记 --- HDFS执行流程与工作原理
杨鑫newlife的专栏
03-13 568
一、简述 Hadoop分布式文件系统（HDFS - Hadoop Distributed File System）是一种旨在硬件上运行的分布式系统。它与现有的分布式分拣系统有许多相似之处。 但是与其他文件系统的区别很明显。HDFS具有高度的容错能力，旨在部署在低成本的硬件上。 HDFS提供对应应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求， ...
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1187
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
2.5 Apache Hadoop、HDFS -HDFS工作流程和机制
qq_40947195的博客
05-08 477
文章目录HDFS工作流程和机制一、HDFS集群角色与职责主角色：namenode从角色：datanode主角色辅助角色： secondarynamenodenamenode职责datanode职责二、HDFS写数据流程（上传文件）写数据完整流程图核心概念--Pipeline管道核心概念--ACK应答响应核心概念--默认3副本存储策略三、HDFS读数据流程（下载文件）读数据完整流程图 HDFS工作流程和机制 一、HDFS集群角色与职责 官方架构图 主角色：namenode NameNode是Hadoop分
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1520
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
Hadoop HDFS命令操作实例
csdn2486的博客
09-28 867
首先检查master0、slave0虚拟机网络和java版本（”1.7.0_71”）,检查后再启动hadoop[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)再检查是否启动成功1、创建HDFS目录：-p可以递归创建2、查看之前创建的HDFS目录注意：因为登录的用户为csu，所以会显示/user/csu下的目录。
Hadoop之WordCount测试
最新发布
月亮的技术博客
10-04 489
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。HDFS是一个高度容错的系统，用于存储大规模数据集，具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型，它简化了并行编程的复杂性，使得开发者可以专注于业务逻辑的实现。Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1500
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
Hadoop框架及应用场景说明
finedatalink的博客
09-27 1408
Hadoop是一个开源的分布式系统基础架构。由多个组件组成，组件之间协同工作，进行大规模数据集的存储和处理。本文将探讨Hadoop的架构以及应用场景。
HDFS 读流程和写流程
04-07
HDFS的读流程和写流程如下： 写流程： 1. 客户端向NameNode发出写请求。 2. NameNode返回可用的DataNode列表。 3. 客户端选择其中一个DataNode进行写操作。 4. 客户端向选中的DataNode发送数据块。 5. DataNode将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值