HDFS读数据流

最新推荐文章于 2024-05-12 22:16:26 发布
最新推荐文章于 2024-05-12 22:16:26 发布
阅读量97 收藏
点赞数 1
分类专栏： 大数据导论作业 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y_Lufei/article/details/120979691
版权

 

 

①客户端通过调用分布式文件系统对象中的Open( )函数来读取它所需要的数据。

②Distrbuted File System会 通过RPC协议调用名称节点来确定请求文件块所在的位置。

③完成以上步骤，客户端利用FSDataInputStream的Read(方法开始读取数据。

④FSDataInputStream连接保存此文件第一个数据 块的最近的数据节点，并以数据流的形式读取数据;客户端多次调用Read(,直到到达数据块结束位置。

⑤当第一个块读取完毕时，DFSDataInputStream会关闭连接，并查找存储下一个数据库距离客户端最近的数据节点。

⑥客户端按照DFSDataInputStream打开和数据节点连接返回的数据流的顺序读取该块，它也会调用名称节点来检查下一组所在的数据节点的位置信息

 

 

柯_sir
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
10_尚硅谷大数据之HDFS的数据流1
08-03
4.1 HDFS 写数据流程 4.1.1 剖析文件写入 4.1.2 网络拓扑概念 4.1.3 机架感知（副本节点选择） 4.2 HDFS 读数据流程
java特殊字符FS_Java FSDataInputStream.readUTF方法代碼示例
weixin_39640195的博客
02-27 227
import org.apache.hadoop.fs.FSDataInputStream; //導入方法依賴的package包/類public int run(String[] args, PrintStream stream) throws Exception {out = stream;List paths = parseArgs(args);if (paths.size() != 1) {...
【HDFS】读数据流程分析
goat的博客
12-10 1040
读数据的流程的详细分析，附带代码解读
hdfs-数据流之写入
我的博客
08-24 510
根据下图介绍HDFS的写入流程。 步骤 1. create 客户端通过对DistributedFileSystem对象调用create()方法来发起创建文件流程。 2. create DistributedFileSystem对象对namenode创建一个RPC调用，在文件系统中的命名空间中创建一个文件，此时还没有对此文件创建相应的数据块。namenode执行各种检查确保这个文件不存在以及客户端有新建该文件的权限。如果检查通过namenode就会创建这个文件并添加一条记录。否则，文件创建失败并
HDFS的数据流（读和写）
weixin_43520450的博客
04-10 679
一、HDFS写数据流程 1.剖析文件写入 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2...
HDFS读写数据流程
eli的博客
11-16 3784
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS写数据流
qq_63518252的博客
10-30 121
大部分hdfs程序对文件操作采用" 一次写多次读取”的模式 写数据过程： 简述：客户端先通知nn节点：我要写文件了，确认客户端权限和没有相同的文件以后，nn节点创建一个新的文件记录；然后把文件分成一个一个的数据块（默认大小64mb）通过文件流的方式向dn节点中写数据，写数据的时候，注意是会写冗余数据，冗余数据块默认三个；最后，只有冗余数据块全部写完，dn节点再向客户端发出确认，然后客户端向nn节点发出结束消息，并将文件的块信息存储在nn节点里面。 1：客户端调用分布式文件系统（Distribut...
HDFS读数据流程
m0_61238627的博客
11-02 171
1client向namenode请求block所在的datanode节点列表； 2client从最近位置逐个依次从datanode中读取block信息； 3整个通过io流读取的过程需要校验每个快信息； 4读取完成，关闭所有流。 首先调用FileSystem的open方法获取一个DistributedFileSystem实例； 然后DistributedFileSystem实例通过RPC在NameNode里获得文件的第一批block的locations（可能是需要读取文件的全部，也可能是一部分），同一个b
HDFS读数据的流程
weixin_61468669的博客
07-12 208
3.这时NameNode会把block块的位置信息返回给客户端，这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后，将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置，选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
HDFS详解②
01-20
文章目录HDFS4 HDFS的数据流4.1 HDFS写数据流程4.1.1 剖析文件写入4.1.2 网络拓扑-节点距离计算4.1.3 机架感知（副本存储节点选择）4.2 HDFS读数据流程5 NameNode和SecondaryNameNode（面试开发重点）5.1 NN和2NN...
python读取hdfs并返回dataframe教程
12-17
不多说，直接上代码 from hdfs import Client import pandas as pd ...FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径 COLUMNNAMES = [xx'] ... 先从hdfs读取二进制数据流文件 # 2. 将二进制文件另存为.cs
hdfs源码.zip
07-14
4．5．7 数据块替换、数据块拷贝和读数据块校验 437 4．5．8 短路读操作 437 4．6 数据块扫描器 437 4．6．1 DataBlockScanner实现 438 4．6．2 BlockPoolSliceScanner实现 439 4．7 DirectoryScanner 442 4．8 ...
大数据面试复习（一）之HDFS概况
01-07
HDFS读数据流程 HDFS高可用 HDFS小文件问题 HDFS特点概况 特点： 廉价 流数据读取（流数据是一组顺序、大量、快速、连续到达的数据序列） 大数据集 跨平台 高延迟：换言之不适合低延迟平台 一次写入，多次读取...
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2836
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
Hadoop-未授权访问-内置配合命令执行RCE
最新发布
MateSnake的博客
05-12 221
Hadoop-未授权访问-内置配合命令执行RCE
Hadoop快速搭建指南
NeedForSpeed
05-08 304
为了验证Hadoop集群是否可以正常工作，可以使用一个简单的WordCount示例。在启动Hadoop之前，需要格式化Hadoop文件系统。如果看到相关的仪表盘，则说明Hadoop成功启动。为了让Hadoop正常工作，需要进行一些配置。Hadoop配置完成后，可以启动相关服务。为了方便使用Hadoop命令行工具，编辑。接下来，让我们下载并安装Hadoop。解压缩下载的文件并将其移动到。
基于GEC6818五子棋游戏GEC6818_Gomoku.zip
05-12
五子棋游戏想必大家都非常熟悉，游戏规则十分简单。游戏开始后,玩家在游戏设置中选择人机对战，则系统执黑棋，玩家自己执白棋。双方轮流下一棋，先将横、竖或斜线的5个或5个以上同色棋子连成不间断的一排者为胜。 【项目资源】：包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、python、web、C#、EDA、proteus、RTOS等项目的源码。 【技术】 Java、Python、Node.js、Spring Boot、Django、Express、MySQL、PostgreSQL、MongoDB、React、Angular、Vue、Bootstrap、Material-UI、Redis、Docker、Kubernetes
单片机C语言Proteus仿真实例左右来回的流水灯
05-12
单片机C语言Proteus仿真实例左右来回的流水灯提取方式是百度网盘分享地址
Java 读取hdfs文件数据
06-02
要在Java中读取HDFS文件数据，可以使用Hadoop的Java API。以下是一个简单的Java代码示例，演示如何读取HDFS文件数据： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值