Hadoop HDFS读写流程

最新推荐文章于 2023-08-09 16:23:07 发布
最新推荐文章于 2023-08-09 16:23:07 发布
阅读量406 收藏 1
点赞数
分类专栏： 学习分享 文章标签： hadoop hdfs HDFS读写流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40825218/article/details/84258919
版权
本文详细介绍了Hadoop HDFS的读数据和写数据流程。在读取过程中，客户端通过FileSystem打开文件，NameNode返回Block位置，客户端从最近的DataNode读取数据，确保连续的流式读取。在写入过程中，客户端创建文件，NameNode分配块，DataStreamer形成流水线，通过DataNodes进行数据复制和确认。
摘要由CSDN通过智能技术生成

HDFS

读数据流程

  • 原理图：
    在这里插入图片描述

  • 读取过程分析—图示：
    在这里插入图片描述

  • 读取过程分析—描述:

    • 1.客户端或者用户通过调用FileSystem对象的open()方法打开需要读取的文件，这对HDFS来说就是常见的一个分布式文件系统的一个读取实例

    • FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置。对于每一个Block，NameNode返回一个含有该Block拷贝的元数据，即文件基本信息；接下来，DataNode按照上文定义的距离值进行排序，如果Client本身就是一个DataNode，那么优先从本地DataNode节点读取数据。HDFS示例做完以上工作后，返回一个FSDataInputStream给客户端，让其从FSDataInputStream中读取数据。FSDataInputStream接着包装一个DFSInputStream，用来管理DataNode和NameNode的I/O

    • NameNode向客户端返回一个包含数据信息的地址，客户端根据地址创建一个FSDataInputStream开始对数据进行读取

    • FSDataInputStream根据开始时存放的前几个Blocks的DataNode的地址&#

最低0.47元/天 解锁文章
王峥jeff
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的读写流程
ningkangming的博客
06-12 1026
HDFS是一个高度容错的分布式文件系统，它设计用于运行在通用硬件上。HDFS将数据分割成固定大小的块，并将这些块存储在多个节点上，以实现数据的高可用性和可扩展性。每个数据块都会被复制到多个节点上，形成一个副本集，从而确保数据的可靠性。
【大数据】Hadoop的HDFS设计（图解）
小丸子的博客
07-26 344
一、文件存储 对于文件的存储：第一种：纵向扩展 加存储空间，有局限性，成本不是线性增长 第二种：横向扩展，加机器 一）HDFS体系结构 Namenode：名字节点，用来管理文件的元数据信息（各个文件块所在的位置），如果元数据信息丢失，HDFS集群瘫痪。 Datanode：用来存储文件按数据的，会定期向Namenode发送心跳包。 BlockSize：文件块，hdfs的文件块Hado...
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告
hdfs写数据流程示意图
devcy的博客
03-27 559
每个block上传的过程，写完一个上传下一个？
图解Hadoop分布式文件系统HDFS
服务器开发－孙飞的专栏
11-02 765
hadoop的hdfs（分布式存储）和mapreduce（分布式计算）
qiao_qing的博客
06-20 3025
文章目录2.hdfs（分布式存储）3.mapreduce ## 1.Hadoop简介 - hadoop主流版本： - Apache基金会所开发的分布式系统基础架构（hadoop）； - Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），企业化版本； - Hortonworks版本（Hortonworks Data Platform，简称“HDP”），常用版本。 hadoop的框架最核心的设计是：底层的分布式存储（H.
Hadoop之HDFS文件读写过程
菜如张学清的博客
08-23 9609
HDFS读过程 HDFS API 读文件     Configuration conf = new Configuration();     FileSystem fs = FileSystem.get(conf);     Path file = new Path("demo.txt");     FSDataInputStream inStream = fs.open(file); ...
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2042
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
在IT行业中，Hadoop是一个广泛...由于文件" Hadoop技术HDFS数据读写流程共7页.pdf "未提供具体细节，以上内容是对一般HDFS读写流程的概述。实际文档可能包含更深入的技术细节，例如数据校验、流控制、故障恢复等机制。
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的...可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
Hadoop学习总结.doc
10-26
Hadoop学习总结，内容包括： 1. HDFS简洁 2. HDFS读写过程解析 3. MapReduce入门 4. MapReduce过程解析 5. Hadoop运行痕迹 6. MapReduce源码分析总结
深入理解Hadoop HDFS高级教程.txt打包整理.zip
03-05
在大数据处理领域，Hadoop HDFS（Hadoop Distributed File System）是核心组件之一，它为大规模数据存储提供了可扩展、高容错性的解决方案。本高级教程将深入剖析HDFS的内部机制，帮助读者掌握其核心概念和实际操作...
【HDFS篇06】HDFS数据读写流程1
08-04
在分布式文件系统HDFS（Hadoop Distributed File System）中，数据的读写流程是其核心功能之一，确保了数据的安全性和高效性。本篇文章主要探讨HDFS的数据读写流程，特别是写数据的过程。 首先，我们关注HDFS的写...
HDFS 写流程图解
猫君之上的博客
04-26 119
11张图了解HDFS的架构设计！
乔二爷
01-10 2126
HDFS 介绍 HDFS 是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。 HDFS 的设计理念 支持超大规模数据集 运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到数百个节点，能够存储海量的数据。 比如说，某个表 100亿条数据，你还用MySQL 去存么？一台机器你的配置得多高才行，再考虑一下查询的效率。如果用了分布式存储之后，也就是说，这些数据放到N多台机器里面去存储，每个机器
HDFS--图解读写流程
qq_46893497的博客
11-29 85
写流程 写：hdfs dfs -put /export/software/jdk / 1-客户端读取配置文件，找到NameNode的地址 2-客户端向NameNode发送写入请求 3-NameNode会检查是否允许写入将确认同意写入的，结果返回给客户端 检查文件是否存在 是否有权限 存储路径是否存在 有没有DataNode可以存储 4-客户端会将大文件进行拆分成若干个小文件 5-提交第一个块写入的请求给NameNode 6-NameNode根据当前集群的情况以及副本的个数，返回三台DataNode
hdfs简介&hdfs-shell&hdfs-API
快乐小编的专栏
09-30 1085
HDFS简介：     HDFS概念：     HDFS(Hadoop Distributed File System)是运行在linux文件系统之上的一个分布式文件系统，是基于流数据模式访问和处理超大文件的需求开发     的，hadoop整合了众多文件系统，在其中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，HDFS是这个抽象文件系统的一     个实例。hadoop
HDFS分布式文件系统
最新发布
qq_49001678的博客
08-09 78
HDFS是hadoop核心组成，是一种分布式存储服务；选择分布式的原因是分布式文件系统横跨2多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力；而且，HDFS通过统一的命名空间目录树来定位文件；另外，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色（分布式本质是拆分，各司其职）。在讲解架构之前先要了解一些重要的概念（1）Master/Slave架构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值