大数据学习篇：hadoop深入浅出系列之HDFS（三） ——HDFS读文件和写文件

最新推荐文章于 2022-08-10 10:34:46 发布
最新推荐文章于 2022-08-10 10:34:46 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 大数据系列 hadoop深入浅出 文章标签： HDFS读写文件 HDFS读文件 HDFS写文件 HDFS深入浅出 HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stronglyh/article/details/48666673
版权

上一篇讲了HDFS的体系结构，今天这篇，我们来讲讲HDFS的读和写。

一：读文件

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例

2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.

最低0.47元/天 解锁文章
你所有承诺
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hdfs读取文件
08-25
hdfs读取文件详细流程，绝对真实！
HDFS读写数据流程-07
kxj19980524的博客
04-07 296
1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。 2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。 3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。 4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。 5) 把多个block都...
HDFS读文件
HYN205的博客
06-16 329
    1、首先调用FileSystem.open()方法，获取到DistributedFileSystem实例    2、DistributedFileSystem通过RPC(远程过程调用)获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。    如果客户端本身就...
HDFS——读文件
qq_33668701的博客
03-31 185
需要的jar包可以在https://mvnrepository.com/artifact/org.apache.hadoop上搜索下载。 import java.io.*; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org...
5分钟深入浅出 HDFS
weixin_34261415的博客
11-05 82
5分钟深入浅出 HDFSHDFS架构HDFS Client大家还记得我们如何向 Hadoop cluster 提交任务吗？是通过 Hadoop client 进行的。同样，我们和 HDFS 打交道也是通过一个 client library. 无论读取一个文件或者写一个文件，我们都是把数据交给 HDFS client，它负责和 Name nodes 以及 Data nodes ...
大数据之HDFS/Hadoop集群管理
06-09
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，...
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS：1.HDFS基础
01-07
maven的安装、路径配置、修改库文件路径和eclipse中的配置，解决Eclipse使用Maven下载慢的问题 1.3、创建一个maven工程HDFS 1.4、 导入相应的依赖坐标加日志添加 junit junit RELEASE org.apache.logging....
大数据面试一：hadoop
05-21
在大数据领域，Hadoop是一个关键的开源框架，用于大规模数据处理和存储。本文将深入探讨在面试中可能会遇到的Hadoop相关知识点。 首先，我们来看看HDFS（Hadoop Distributed File System）的操作流程。HDFS输入文件...
【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf
最新发布
03-01
【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf
7-0大数据技术之Hadoop（HDFS）
12-15
《大数据技术之Hadoop（HDFS）》 Hadoop分布式文件系统（HDFS）是处理海量数据的核心组件之一，其设计初衷是为了解决单机操作系统无法应对大规模数据存储的问题。HDFS是一种分布式文件系统，它将文件分布在多台...
HDFS读写文件
tmh1995的博客
06-02 258
HDFS读写文件 HDFS读文件: 　　首先,由Client下达命令交给Distributed File System系统翻译成Linux命令,然后把命令发送给NameNode,NameNode去搜索fsimage和edit logs,搜到以后把文件的块地址(get block locations)返回给Client,Client到对应的DataNode地址去读信息,优先级为：主副本>同机架副本>相邻机架副本.最后返回一个FSDataInputStream对象给Client,然后close这个流
HDFS 读写文件讲解
DaiSnow的博客
06-30 682
我们知道在虚拟机中通过命令可以实现Linux本地文件log1.txt上传到HDFS中，以及从HDFS中下载文件。 #上传文件（向HDFS中写文件） hdfs dfs -put /opt/log.txt /hdfs/log/log1.txt 或 hdfs dfs -copyFromLocal /opt/log.txt /hdfs/log/log2.txt #下载文件（从HDFS中读文件） hdfs dfs -get /hdfs/log/log.txt /opt/log1.txt 或 hdfs dfs -cop
hdfs读文件流程
Java_Soldier的博客
09-15 8230
====客户端向hdfs文件系统读数据流程 1.客户端向nn请求读数据-/aaa.txt 2.nn检查是否有这个数据，返回这个文件的元数据（有几个副本，分为几个block，block分别在在哪个dn上） 3.客户端拿到信息，选择距离最近的dn请求连接 4.与DN建立连接管道，dn向管道中以packet形式写数据 5.客户端从管道中拿到blokck1，客户端继续请求下一
HDFS文件读取流程
JustinMars的博客
08-10 1817
1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检 查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如 果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一 个可以上传的信息。4）客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上 就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调用 C，将整个 pipeline 建立完成，逐级返回 client。...
HDFS读写文件流程
热门推荐
allen的博客
11-24 2万+
1.HDFS写流程： 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本如图： 写详细步骤：1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
Hadoop中HDFS读取文件的原理剖析
qiezikuaichuan的专栏
06-14 757
上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。 第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem 对象的open（）方法来打开文件，这个方法要做的
读取HDFS文件目录的方法
u012022003的专栏
12-12 6649
欢迎使用Markdown编辑器写博客首先添加依赖://注意后面的provided,缺少会报包冲突的错误 libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.7.2"%"provided" import org.apache.hadoop.fs.{FileSystem, FileUtil, Path}val hdfsPath
【精】彻底理解HDFS读文件流程
Badme
09-13 308
读完本文，你将收获如下： ①HDFS读文件的整体流程。 ②读取数据过程中的一些细节，例如：如果文件的最后一个block正在写，客户端能否读到？客户端选择哪个DataNode去读？ ③ LocatedBlocks对象图解、DFSInputStream关键成员变量的释义等。 下面正式开始本文： 一、前置知识 1.1 LocatedBlocks对象 结构大致如下图所示: 客户端调用getBlockLocations RPC后，NameNode返回给客户端LocatedBlocks对象。包含了文件指定范围内的bl
"大数据学习笔记：Hadoop、Hbase、Hive详细分析及HDFS架构解析
大数据学习笔记详细分析了Hadoop、HBase和Hive等各种大数据处理系统的基本构成和原理。其中，对Hadoop的HDFS系统进行了深入的学习和分析，包括架构、Namenode的作用和启动原理等方面。 在对HDFS系统的架构进行详尽...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值