hdfs读文件流程

最新推荐文章于 2024-04-25 09:17:55 发布

Java_Soldier

最新推荐文章于 2024-04-25 09:17:55 发布

阅读量8.2k

点赞数

分类专栏： hadoop 文章标签： hdfs 文件系统 hadoop

本文链接：https://blog.csdn.net/Java_Soldier/article/details/77996591

版权

hadoop 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

 
 ====客户端向hdfs文件系统读数据流程 

 
 1.客户端向nn请求读数据-/aaa.txt 

 
 2.nn检查是否有这个数据，返回这个文件的元数据（有几个副本，分为几个block，block分别在在哪个dn上） 

 
 3.客户端拿到信息，选择距离最近的dn请求连接 

 
 4.与DN建立连接管道，dn向管道中以packet形式写数据 

 
 5.客户端从管道中拿到blokck1，客户端继续请求下一个block 

 如图
 

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Java_Soldier

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【精】彻底理解HDFS读文件流程

Badme

09-13

329

读完本文，你将收获如下： ①HDFS读文件的整体流程。 ②读取数据过程中的一些细节，例如：如果文件的最后一个block正在写，客户端能否读到？客户端选择哪个DataNode去读？ ③ LocatedBlocks对象图解、DFSInputStream关键成员变量的释义等。下面正式开始本文：一、前置知识 1.1 LocatedBlocks对象结构大致如下图所示: 客户端调用getBlockLocations RPC后，NameNode返回给客户端LocatedBlocks对象。包含了文件指定范围内的bl

HDFS读、写文件流程

WWW_SYR的博客

07-15

250

1、读文件流程第一步：Client 向NameNode 发送数据请求后，寻找数据对应的数据块的位置信息。第二步：NameNode 返回文件对应的数据块元数据信息，如所属机器、数据块的block_id、数据块的先后顺序等。第三步：由Client 与DataNode 直接通信，读取各个block 数据块的信息。过程为并行读取，由客户端合并数据。 2、写文件流程第一步： Cli...

参与评论您还未登录，请先登录后发表或查看评论

hdfs读取文件

08-25

hdfs读取文件详细流程，绝对真实！

HDFS读写数据流程-07

kxj19980524的博客

04-07

315

1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。 2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。 3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。 4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。 5) 把多个block都...

HDFS读文件

HYN205的博客

06-16

345

1、首先调用FileSystem.open()方法，获取到DistributedFileSystem实例 2、DistributedFileSystem通过RPC(远程过程调用)获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。如果客户端本身就...

HDFS——读文件

qq_33668701的博客

03-31

203

需要的jar包可以在https://mvnrepository.com/artifact/org.apache.hadoop上搜索下载。 import java.io.*; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org...

HDFS的读写流程（详解）

SlimShadyKe的博客

05-02

9726

概述 HDFS（Hadoop Distributed File System）是GFS的开源实现。 HDFS的优缺点 1、优点因为有多个副本，可以保证数据可靠，容错性高计算向数据移动，适用于批处理适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点可以构建在廉价机器上，通过多副本提高可靠性 2、缺点不支持低延迟的数据访问，无法再毫秒之内返回结果小文件对于HDFS...

HDFS读数据流程

zhangleilei_的博客

12-05

980

（1）客户端给NameNode发起文件下载请求（2）NameNode进行两项检查（1.检查用户是否有权限下载2.检查文件是否存在）

HDFS读写文件流程

Admin_ghost的博客

06-26

1057

一、基础概念 block 文件上传前需要分块（block），一般为128MB。块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。 packet packet是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 chunk chunk是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个ch

Hadoop HDFS读文件流程详解

"了解Hadoop的HDFS读文件流程及其发展历程" 在分布式计算领域，Hadoop是一个重要的开源框架，尤其在处理大数据方面具有显著优势。Hadoop最初受到Google的MapReduce和Google文件系统(GFS)的启发，由Apache基金会开发...

HDFS读写文件

tmh1995的博客

06-02

268

HDFS读写文件 HDFS读文件: 　　首先,由Client下达命令交给Distributed File System系统翻译成Linux命令,然后把命令发送给NameNode,NameNode去搜索fsimage和edit logs,搜到以后把文件的块地址(get block locations)返回给Client,Client到对应的DataNode地址去读信息,优先级为：主副本>同机架副本>相邻机架副本.最后返回一个FSDataInputStream对象给Client,然后close这个流

HDFS 文件读取过程

最新发布

qq_41858579的博客

04-25

223

文件写入过程是找到可以存储文件block的DataNode服务器，以便进行文件block的存储。文件读取过程是找到所需读取文件block所在的服务器DataNode，以便读取文件block。hdfs文件读取过程和上期讲的hdfs文件写入过程相反。

HDFS 读写文件讲解

DaiSnow的博客

06-30

706

我们知道在虚拟机中通过命令可以实现Linux本地文件log1.txt上传到HDFS中，以及从HDFS中下载文件。 #上传文件（向HDFS中写文件） hdfs dfs -put /opt/log.txt /hdfs/log/log1.txt 或 hdfs dfs -copyFromLocal /opt/log.txt /hdfs/log/log2.txt #下载文件（从HDFS中读文件） hdfs dfs -get /hdfs/log/log.txt /opt/log1.txt 或 hdfs dfs -cop

大数据学习篇：hadoop深入浅出系列之HDFS（三） ——HDFS读文件和写文件

美丽的泡沫

09-23

1476

上一篇讲了HDFS的体系结构，今天这篇，我们来讲讲HDFS的读和写。一：读文件 1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例 2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoo

HDFS文件读取流程

JustinMars的博客

08-10

1849

1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一个可以上传的信息。4）客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调用 C，将整个 pipeline 建立完成，逐级返回 client。...

HDFS的读写文件流程

张张张

04-24

564

HDFS写流程: 客户端要向HDFS写数据,首先要和namenode进行通信来获得接受文件块(block)的datanode,然后客户端将按顺序将block逐个传到响应的datanode上,并由接收block的datanode负责像其他的datanode复制block的副本写入步骤详解: 1. 客户端向namenode请求上传文件, namenode检查目标文件是否存在,夫目录是否存在...

Hadoop中HDFS读取文件的原理剖析

qiezikuaichuan的专栏

06-14

781

上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem 对象的open（）方法来打开文件，这个方法要做的

大数据架构师教你HDFS读文件过程分析：获取文件对应的Block列表

2401_83384536的博客

03-22

909

当集群重启的时候（如果允许安全模式下读文件），或者当一个文件正在创建的时候，Datanode向Namenode进行Block Report，这个过程中可能Namenode还没有完全重建好Block到Datanode的映射关系信息，所以即使在这种情况下，仍然会返回对应的正在创建的Block所在的Datanode列表信息，可以从前面getBlockLocationsInternal方法中看到，INode的对应UnderConstruction状态为true。上述代码中，有一个for循环用来获取Block列表。