大数据学习篇：hadoop深入浅出系列之HDFS（三） ——HDFS读文件和写文件

最新推荐文章于 2024-04-25 09:17:55 发布
最新推荐文章于 2024-04-25 09:17:55 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 大数据系列 hadoop深入浅出 文章标签： HDFS读写文件 HDFS读文件 HDFS写文件 HDFS深入浅出 HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stronglyh/article/details/48666673
版权
本文详细介绍了HDFS的读文件和写文件过程。在读文件时，客户端通过open方法获取FSDataInputStream，DFSInputStream管理数据流，优先选择距离近的datanode进行读取。如果遇到问题，会切换到其他可用datanode。写文件时，客户端创建文件，数据切分为packet，通过DataStreamer形成pipeline，数据在datanode间传递。如果datanode故障，pipeline会重建，保证数据完整性。整个过程对客户端透明。
摘要由CSDN通过智能技术生成

上一篇讲了HDFS的体系结构，今天这篇，我们来讲讲HDFS的读和写。

一：读文件

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例

2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.

最低0.47元/天 解锁文章
你所有承诺
关注
专栏目录
大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点
美丽的泡沫
09-20 5372
上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS HDFS，顾名思义 Hadoop Distributed File System，至于它的来历我就不说了，网上比比皆是。 随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。
hdfs读取文件
08-25
hdfs读取文件详细流程，绝对真实！
HDFS读写数据流程-07
kxj19980524的博客
04-07 304
1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。 2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。 3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。 4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。 5) 把多个block都...
HDFS读文件
HYN205的博客
06-16 336
    1、首先调用FileSystem.open()方法，获取到DistributedFileSystem实例    2、DistributedFileSystem通过RPC(远程过程调用)获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。    如果客户端本身就...
HDFS——读文件
qq_33668701的博客
03-31 192
需要的jar包可以在https://mvnrepository.com/artifact/org.apache.hadoop上搜索下载。 import java.io.*; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org...
5分钟深入浅出 HDFS
weixin_34261415的博客
11-05 87
5分钟深入浅出 HDFSHDFS架构HDFS Client大家还记得我们如何向 Hadoop cluster 提交任务吗？是通过 Hadoop client 进行的。同样，我们和 HDFS 打交道也是通过一个 client library. 无论读取一个文件或者写一个文件，我们都是把数据交给 HDFS client，它负责和 Name nodes 以及 Data nodes ...
大数据之HDFS/Hadoop集群管理
06-09
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，...
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf
05-03
Hadoop 大数据开发实战教学教案—03HDFS 分布式文件系统.pdf 本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 ...
Hadoop技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书).mobi
07-05
Hadoop技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍，非扫描版，使用kindle可以打开，也可以转换为epub使用ibooks打开
HDFS读写文件
tmh1995的博客
06-02 261
HDFS读写文件 HDFS读文件: 　　首先,由Client下达命令交给Distributed File System系统翻译成Linux命令,然后把命令发送给NameNode,NameNode去搜索fsimage和edit logs,搜到以后把文件的块地址(get block locations)返回给Client,Client到对应的DataNode地址去读信息,优先级为：主副本>同机架副本>相邻机架副本.最后返回一个FSDataInputStream对象给Client,然后close这个流
HDFS 文件读取过程
最新发布
qq_41858579的博客
04-25 189
文件写入过程是找到可以存储文件block的DataNode服务器，以便进行文件block的存储。文件读取过程是找到所需读取文件block所在的服务器DataNode，以便读取文件block。hdfs文件读取过程和 上期讲的hdfs文件写入过程相反。
HDFS 读写文件讲解
DaiSnow的博客
06-30 697
我们知道在虚拟机中通过命令可以实现Linux本地文件log1.txt上传到HDFS中，以及从HDFS中下载文件。 #上传文件（向HDFS中写文件） hdfs dfs -put /opt/log.txt /hdfs/log/log1.txt 或 hdfs dfs -copyFromLocal /opt/log.txt /hdfs/log/log2.txt #下载文件（从HDFS中读文件） hdfs dfs -get /hdfs/log/log.txt /opt/log1.txt 或 hdfs dfs -cop
hdfs读文件流程
Java_Soldier的博客
09-15 8240
====客户端向hdfs文件系统读数据流程 1.客户端向nn请求读数据-/aaa.txt 2.nn检查是否有这个数据，返回这个文件的元数据（有几个副本，分为几个block，block分别在在哪个dn上） 3.客户端拿到信息，选择距离最近的dn请求连接 4.与DN建立连接管道，dn向管道中以packet形式写数据 5.客户端从管道中拿到blokck1，客户端继续请求下一
HDFS文件读取流程
JustinMars的博客
08-10 1838
1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检 查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如 果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一 个可以上传的信息。4）客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上 就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调用 C，将整个 pipeline 建立完成，逐级返回 client。...
HDFS读写文件流程
热门推荐
allen的博客
11-24 2万+
1.HDFS写流程： 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本如图： 写详细步骤：1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
Hadoop中HDFS读取文件的原理剖析
qiezikuaichuan的专栏
06-14 772
上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。 第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem 对象的open（）方法来打开文件，这个方法要做的
大数据架构师教你HDFS读文件过程分析：获取文件对应的Block列表
2401_83384536的博客
03-22 900
当集群重启的时候（如果允许安全模式下读文件），或者当一个文件正在创建的时候，Datanode向Namenode进行Block Report，这个过程中可能Namenode还没有完全重建好Block到Datanode的映射关系信息，所以即使在这种情况下，仍然会返回对应的正在创建的Block所在的Datanode列表信息，可以从前面getBlockLocationsInternal方法中看到，INode的对应UnderConstruction状态为true。上述代码中，有一个for循环用来获取Block列表。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值