HDFS读写数据过程原理分析

最新推荐文章于 2024-07-22 02:03:32 发布
置顶 最新推荐文章于 2024-07-22 02:03:32 发布
阅读量3.9k 收藏 23
点赞数 8
分类专栏： Hadoop 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/white_mvlog/article/details/106058324
版权

Hadoop HDFS读写数据过程原理分析

        在学习hadoop hdfs的过程中，有很多人在编程实践这块不知道该其实现的原理是什么，为什么通过几十行小小的代码就可以实现对hdfs的数据的读写。
        在下面的介绍中会详细的说明该其过程实现的原理（图片选自中国大学MOOC[大数据技术原理与应用]课程）。

一、读数据的原理分析

在这里插入图片描述

1. 打开文件。

        用Java导入FileSystem类，通过FileSystem.get(conf)声明一个实例对象fs，从而分布式系统底层的配置文件会被项目所调用，如core-site.xml、hdfs-site.xml；进而生成一个子类DistributedFileSystem，这时候实例对象fs与分布式系统也就紧紧相关了。
        由于我们要读数据，当然就需要使用到输入流，这时候输入流的类型是FsDataInputStream，其中封装着DFSInputStream。
        在这里为什么我们看不见或者无法调用DFSInputStream呢，因为这是Hadoop后台自动给其封装的好的，真正与Hadoop当中的名称节点进行交流的，其实是DFSInputStream，而不是FsDataInputStream。
        FsDataInputStream在项目中是干嘛呢，其实是与客户端进行交流的。

2. 获取数据块信息
最低0.47元/天 解锁文章
Lino_white
关注
专栏目录
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1204
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
HDFS 读数据原理
OH LEI``
07-17 406
概述 客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件 1. 客户端调用 create 方法，创建一个新的文件；NameNode 会做各种校验，比如文件是否已经存在，客户端是否有权...
图解 HDFS 架构 ｜读写过程
最新发布
面向生活编程
07-22 554
每个文件的 block 大小（dfs.blocksize）和副本系数（dfs.replication）都是可配置的。ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，参数位于 hdfs-default.xml 中：dfs.blocksize。在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。
HDFS的读写原理
不见其长，日有所长
02-27 4339
1. 简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 运行在廉价的机器上。 适合大数据的处理。多大？多小？HDFS默认会...
hadoopHDFS读写原理(超级详细)
互联网知识分享
07-18 1217
数据块位置更新：在副本传输完成后，DataNode 节点将更新数据块的位置信息到 NameNode，在元数据中记录数据块所在的 DataNode 节点。数据块读取：NameNode 返回数据块的位置信息给客户端，客户端收到位置信息后直接与 DataNode 节点通信，请求数据块的读取。数据块副本传输：在数据写入完成后，DataNode 节点开始将数据块的副本传输给其他的 DataNode 节点，以实现数据的冗余存储。客户端合并数据：客户端接收到数据块的返回后，开始合并数据块，将多个数据块组合成完整的文件。
HDFS读写数据的原理
Magician的博客
12-26 6982
最近由于要准备面试，就把之前学过的东西好好整理下，权当是复习。 下面说下HDFS读写数据的原理。1 概述 HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并存放在不同的
HDFS文件读写原理
Aa112233aA1的博客
06-02 2348
Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如下图所示。 下面，我们根据上图，分别讲解HDFS文件读数据和写数据的原理。 1．HDFS写数据原理 在我们把文件上传到HDFS系统中，HDFS究竟是如何存储到集群中去的，又是如何创建备份的，接下来我们来学习客户端向H
深入分析HDFS原理及读写流程
静待花开
03-12 8367
本文目录一、架构体系1.1、什么是HDFS？1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点 一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave...
Hadoop HDFS原理分析，技术详解
12-01
"Hadoop HDFS原理分析" HDFS（Hadoop Distributed File System）是Hadoop项目的一部分，是一个分布式文件管理系统。HDFS的设计理念是为了存储和管理大量的数据，具有高容错性、可扩展性和高性能的特点。 HDFS的...
大数据hive、spark讲义，从hdfs读写、yarn管理机制、元数据原理、数据质量管理等，全套架构逻辑梳理
12-22
Hadoop集群搭建、HDFS...具体而言，本套文档介绍了大数据的总体情况，指导了如何建立Hadoop集群，深入解释了HDFS的各种机制和调优方法，分析了MapReduce计算框架的核心阶段，以及Yarn在资源调度方面的原理和应用。
hdfs写原理
01-28
hdfs写的原理，描述客户端如何将数据写的hdfs中的详细过程
hdfs读写原理
06-11 713
目录3个概念写数据是输出流读数据输入流如何保证数据完整性 3个概念 block 这个块就是block，它是最大的一个单位。一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。 packet packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 chunk chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行
HDFS原理：HDFS 读写数据
小菜鸟的博客
07-10 2608
HDFS 是做什么的？         HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的...
浅谈HDFS读写数据过程内部原理
weixin_42248302的博客
05-28 1791
                       深入理解HDFS读写数据过程内部原理
HDFS读写原理
aaxx123546的博客
08-25 226
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小是64Mb，一般设置为128Mb...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值