hdfs读数据流程

最新推荐文章于 2023-05-29 15:01:58 发布
最新推荐文章于 2023-05-29 15:01:58 发布
阅读量108 收藏
点赞数
分类专栏： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50754801/article/details/116899130
版权

读数据流程

namenode记录元数据信息 数据的实际位置
虚拟目录----->实际位置
/data/a,txt 3 300M(虚拟位置)
a.txt_block0 0 128M [linux001 002 004]
a.txt_block1 128M 128M [001 002 003]
a.txt_block2 256M 44M [03 04 06]

  1. 客户端请求namenode读取/data/a.txt

  2. namenode返回数据的元信息

  3. 选择一个近的节点请求下载第一个数据块
    解析 存储在本地

  4. 下载第二第三块数据块，本地拼接结果文件

Steven - y
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-HDFS的数据读写过程（详细过程与图解）
H_X_P_的博客
05-03 4125
Hadoop-HDFS的数据读写过程（详细过程与图解）
HDFS读写数据过程
大表哥的博客
06-22 5725
1.读流程 (图1)： 1.打开文件：客户端通过通用文件系统抽象类FileSystem.open()打开文件。然后DistributedFileSystem会创建输入流FSDataInputStream。 2.获取数据块信息：输入流通过Client.getBlockLocations()远程调用名称节点，并获取文件开始部分数据块的保存位置。同时，名称节点返回拥有该数据块的所有数据节点的地址，同时根据距离客户端远近对数据节点进行排序。然后，DistributedFileSystem将实例化FSDataI.
python 读写hdfs的txt文件
WGS.
07-05 996
from hdfs import Client hdfsConn = Client('http://111111:111', root='/111/111', timeout=1000, session=False) NearLinearIds = [] with hdfsConn.read(NearLinearIds_path, encoding='utf-8', delimiter='\n') as f: for line in f: NearLinearIds.append(
HDFS文件读取和文件写入过程
chushepou0410的博客
09-15 615
hdfs文件读取过程 过程描述： 　　（1）客户端调用FileSyste对象的open()方法在分布式文件系统中打开要读取的文件。 　　（2）分布式文件系统通过使用RPC（远程过程调用）来调用namenode，确定文件起始块的位置。 　　（3）分布式文件系统的Distri...
hdfs上文件的读取和写入
qq_40898500的博客
04-22 5531
从HDFS集群上读取数据文件：详情解析：(1)、Hadoop 文件系统中是通过Hadoop path来代表文件的，不是java.io.file，因为要准守hdfs这个协议嘛，所以当然就是path啦！例如：hdfs:\\ubuntu:9000/result.（2）、要想得到FileSystem的实例，不是new，而是使用FieSystem的几个静态工厂方法来构建。①在虚拟机上以用户身份运行：File...
HDFS读取和写入数据简介
01-07
HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大...
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
Mapper阶段从HDFS读取数据，处理后生成中间结果，Reducer阶段再次从HDFS读取这些中间结果并进行聚合，最后将结果写回HDFS。 总之，HDFS的数据读写流程是Hadoop生态系统中的关键环节，理解这一流程对于优化大数据...
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
【HDFS篇06】HDFS数据读写流程1
08-04
接下来，我们讨论HDFS的读数据流程： 1. **请求文件信息**：客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode根据文件的元数据，返回文件Block所在的DataNode地址。 2. **选择DataNode**：...
HDFS读写流程(纯干货无废话)
weixin_58362422的博客
06-28 128
1. 首先客户端请求Namenode上传文件 比如a.txt 2.NameNode校验文件是否已经存在,紧接着询问各个DataNode是否都有空间,都满足的话返回客 户端ok,客户端可以上传文件 3.客户端紧接着想NameNode请求上传第一块数据(Block)[图中黄色块显示],到哪个DataNode上. 4. NameNode返回3个DataNode节点(linux01 02 03) 5. 客户端通过FSDataOutputStream模块请求DataNode1上传数据,D...
HDFS的文件写入和文件读取流程
qq_57629191的博客
05-28 2449
Pipeline管道：Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——>DN1——>DN2—>DN3为什么 datanode 之间采⽤ pipeline 线性传输，⽽不是⼀次给三个 datanode 拓扑式传输呢？
HDFS读写流程详细过程
最新发布
m0_57697768的博客
05-29 9125
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS读取数据流程详解
amingo_ss的博客
04-30 4876
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
Hadoop之HDFS文件读写过程
热门推荐
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS读取文件过程
12-26 6960
从HDFS中读取一个文件，都需要做些什么呢？我们拿一个简单的例子来看一下： import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop
hdfs读写文件过程
小爷欣欣
05-05 1231
文件参考：https://www.cnblogs.com/tgzhu/p/5788634.html 以写入100M文件为例： Client将FileA按64M分块。分成两块，block1和Block2; Client向nameNode发送写数据请求，如图蓝色虚线①------> NameNode节点，记录block信息。并返回可用的DataNode (NameNode按什么规则返...
hdfs文件的写入过程和hdfs的读取过程
秋叶清风的博客
08-12 388
前言：小编引入的图片和文字描述都是来自于传智播客的视频讲解，在此感谢传智播客的老师 写入过程 hdfs client 要上传a.txt(文件带下是300M，默认切片大小是128M)，client 向namenode提出上传文件的请求 namenode接受请求并检测文件上传权限（文件的大小限制、个数限制、有没有写入权限等），并响应是否可以上传，此处假设可以上传 namenode向client响应可以上传 hdfs client 根据规则把文件切分为三个block,并请求上传 blk1 namenode
HDFS文件读取流程
zzf135的博客
04-26 1839
背景：了解客户端及与之交互的HDFS，namenode，datanode之间的数据流是什么样的。 引用资料：《Hadoop权威指南》 如图： 读取流程： 客户端通过调用 FileSystem 对象的 open() 方法来打开希望读取的文件，对于 HDFS 来说，这个对象是 DistributedFileSystem 的一个实例。 DistributedFileSystem 通过使用远程过程调用（RPC）来调用 namenode ，以确定文件起始块的位置。对于每一个块，namenode 返回存有改块副本的
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值