Hadoop读写机制

最新推荐文章于 2023-05-08 14:36:52 发布
最新推荐文章于 2023-05-08 14:36:52 发布
阅读量729 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cjDaShuJu_Java/article/details/79735214
版权

读数据原理

1. 先去请求namenode读数据

2. 查询元数据信息并返回查询的文件的块个数，块的存储位置

3. 根据第二步返回的信息进行块的信息读取，先就近读取再随机读取，根据块的id从小到大依次读取，读取的时候会启动一个输入流FSDATAINPUTSTREAM

4. 会把先读取到的块的信息写入到缓存中，后续读取的块信息依次追加

写数据原理

写入数据的时候会产生一个校验和文件（checksum   512字节） 读数据的时候会进行checksum验证，验证通过证明读取的块信息是没有损坏的

1. 向namenode

最低0.47元/天 解锁文章
Joy_cj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如何在Hadoop中随机写
libobo5954451的专栏
07-12 4035
<br />题目有点忽悠人，希望被忽悠进来的筒子接着看，会有收获的<br /> <br /><br />最近 由于 项目 中 遇到了TIFF（我们的TIFF文件 是 GeoTiff）批量处理的问题，并且由于HDFS读写 图像文件功能的缺失，所以我们就自定义了Hadoop 的 ImageInputFormat ImageRecordReader等 类， 将 文件的 名称封装在 Key中 ，将 文件的 内容 放入 FSDataInputStream ，封装在 Value中 ， 完成了读取的工作，但是  当
Hadoop HDFS读写数据过程原理分析
yimisiyang
06-04 632
Hadoop HDFS读写数据过程原理分析 摘要： 在学习hadoop hdfs的过程中，有很多人在编程实践这块不知道该其实现的原理是什么，为什么通过几十行小小的代码就可以实现对hdfs的数据的读写。 下面介绍其实现的原理过程。 一.读数据的原理分析 1.打开文件 用Java导入FileSystem类，通过FileSystem.get(conf)声明一个实例对象fs，从而分布式系统底层的配置文件会被项目所调用，如core-site.xml、hdfs-site.xml；进而生成一个子类Distributed
Hadoop-HDFS读写原理
互联网知识分享
05-08 132
该设计就是客户端直接连接datanode来检索数据，并且namenode来负责为每一个block提供最优的datanode， namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。）flush() 是清空，数据是先被读到了内存中，然后用数据写到文件中，当数据读完的时候不代表数据已经写完了，因为还有一部分有可能会留在内存这个缓冲区中，所以需要清空，如果不刷新，就可能就会延迟，影响用户的体验效果。
hadoop面试题答案
热门推荐
klzhang的专栏
02-27 1万+
hadoop面试题答案 Hadoop 面试题,看看书找答案，看看你能答对多少(2) http://www.cnblogs.com/yunkaifa/p/3538154.html   布衣神帝 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)taskt
Hadoop读写操作（HDFS运行机制）
Hubert的博客
12-28 2242
目录一、HDFS读写数据流程1、HDFS读数据流程2、HDFS的写数据流程二、NN、2NN、DN工作机制1、HDFS读数据流程 一、HDFS读写数据流程 1、HDFS读数据流程 客户端通过Distributed FileSystem（分布式文件系统）向NameNode（索引）请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode（存储数据）地址； 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据； DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，
hadoop2 文件读写原理
06-25
总结来说，Hadoop 2的文件读写机制依赖于NameNode的元数据管理、DataNode的数据存储以及高效的容错策略。通过数据分片、数据复制和确认机制，Hadoop确保了数据的安全性和高可用性。同时，其设计允许客户端以分布式、...
Hadoop序列化机制
07-26
标题中的“Hadoop序列化机制”是指Hadoop生态系统中用于数据传输和存储的数据表示方式，它是Hadoop MapReduce和Hadoop Distributed File System (HDFS)等组件之间交换数据的关键技术。序列化是将对象转化为可存储或...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
hadoop2.7.7
07-20
HDFS在2.7.7版本中进行了性能优化，增强了数据读写速度，并提高了数据安全性。例如，增加了对Erasure Coding的支持，这是一种数据冗余策略，可以减少存储开销同时保证数据可靠性。 2. **YARN（Yet Another Resource...
hadoop-2.10.2
最新发布
04-18
在2.10.2版本中，HDFS可能包含了一些增强，如更好的块级复制策略、故障检测和恢复机制，以及对大文件和流式读写的优化。 Hadoop生态系统还包括其他重要组件，如HBase（分布式列式数据库）、Hive（数据仓库工具）、...
Hadoop-读取数据的几种方式
sunyx1130的专栏
03-24 3490
1.Hadoop URL中读取数据 import java.io.IOException; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public
hdfs随机读写文件
BrotherDong90的专栏
04-14 6708
hdfs适合因为存储的是大文件，从寻址等消耗来看，更加适合于流式的方式操作文件，但是，hdfs并不是不能进行随机读写，hdfs也是支持随机读写的。 主要通过FSDataInputStream类读，通过FSDataOutputStream类写。下面是两个例子 例1：从本地读，写入到hdfs import java.io.IOException; import java.net.URI; im
Hadoop HDFS 读写流程 | 图文详解
lesileqin的博客
04-14 4284
文章目录一、HDFS写数据流程1、文件写入流程2、网络拓扑 - 节点距离计算3、机架感知（副本存储节点选择）二、HDFS读数据流程 一、HDFS写数据流程 1、文件写入流程 下图为文件写入流程剖析图： 想要上传一个200M的文件ss.avi到HDFS，它的写入流程是这样的： 客户端创建Distributed FileSystem，该模块向HDFS的老大哥NameNode请求上传文件ss.avi 老大哥NameNode是个做事很守规矩的人，所以他要检查权限和目录结构是否存在，如果存在就向Distribu
hadoop读写原理
weixin_41561946的博客
01-16 256
hadoop读原理 第一步:客户端向namenode发起下载test.txt的请求。 第二步：namenode返回该test.txt的元数据信息。 第三步：客户端与test.txt文件块的所在的datanode建立连接通道 第四步：以数据包的形式从每个datanode上读取数据块 第五步：客户端将接收到所有数据块合并成一个完整的文件。 hadoop写原理 第一步:客户端向namenode发起建立连接的请求。 第二步：namenode检查权限并响应。 第三步：客户端发送第一个数据块并请求namenode返
hadoop —— HDFS分布式系统及读写文件原理
m0_48379126的博客
09-10 1119
HDFS概念 数据块 NameNode DataNode
HDFS文件读写原理
Aa112233aA1的博客
06-02 2329
Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如下图所示。 下面，我们根据上图，分别讲解HDFS文件读数据和写数据的原理。 1．HDFS写数据原理 在我们把文件上传到HDFS系统中，HDFS究竟是如何存储到集群中去的，又是如何创建备份的，接下来我们来学习客户端向H
大数据学习(六)HDFS读写机制 hadoop副本存储节点选择
Braylon的博客
12-22 1561
上一篇我们讲过了java的HDFSAPI操作，现在这篇blog分享一下HDFS的读写机制，和hadoop架构中的副本存储节点的选择 HDFS写数据机制 简述： 客户端向namenode请求上传文件，namenode检查目标路径的环境是否已存在。 namenode返回上传应答。 block上传到哪几个DN节点。 namenode返回3个节点，分别为dn1、dn2、dn3。 客户端请求dn1上传数...
Hadoop（HDFS）文件读写机制
dianfenglianyaoshi的博客
04-28 1808
Hadoop（HDFS）文件读写机制 一、概述 采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。 二、读写机制 首先来看文件读取机制： 尽管DataNode实现了文件存储空间的水平扩展和多副本机制，但是针对单个具体文件的读取，Hadoop默认的API接口并没有提供多DataNode的并行读取机制。基于Hadoop提供的API接口...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值