大数据系列（2）HDFS写流程和读流程

最新推荐文章于 2024-09-09 14:04:59 发布
最新推荐文章于 2024-09-09 14:04:59 发布
阅读量124 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43430261/article/details/105529431
版权

两个问题

  • 数据块一般设置为128M
  • 如今的NameNode有两个节点，解决了如今的单点问题

HDFS写流程

  • 客户端向NameNode发起写数据请求
  • 分块写入DataNode节点，DataNode自动完成副本备份
  • DataNode向NameNode汇报存储完成，NameNode通知客户端
    在这里插入图片描述
    在这里插入图片描述

HDFS读流程

  • 客户端向NameNode发起读数据请求
  • NameNode找出距离最近的DataNode节点信息
  • 客户端从DataNode分块下载文件
    在这里插入图片描述
GitCloud
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS（一）增删改查操作
你宝爷的博客
09-07 1297
HDFS之增删改查操作 零、启动集群，Web查看hdfs系统 1.搭建过程：https://blog.csdn.net/qq_31316733/article/details/108386424 hadoop11 192.168.1.11 hadoop12 192.168.1.12 hadoop13 192.168.1.13 hadoop11 hadoop12 hadoop13 HDFS NameNode DataNode DataNode SecondaryNa
大数据-Hadoop-HDFS(二)：HDFS读写数据流程
u013250861的博客
04-01 75
（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。（6）dn1
HDFS文件读写流程(2)
大数据梦想家
11-05 1920
        因为在之前的几篇博客中,小菌已经为大家带来了HDFS的基本概念及一些常用操作,这篇博客小菌将接着HDFS文件系统介绍的内容,为大家带来HDFS的读写流程! 文件写入过程(重点) 详细步骤解析: 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件...
HDFS读取数据流程详解
amingo_ss的博客
04-30 4923
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
HDFS详解
weixin_30740581的博客
06-23 303
******HDFS基本概念篇****** 1. HDFS前言 l设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l重点概念：文件切块，副本存放，元数据 2. HDFS的概念和特...
Hadoop 之 HDFS 极简入门
GitChat
07-02 316
Hadoop 是大数据技术领域的基础，它主要包括三大模块，MapReduce , HDFS 和 Yarn，本文分享的是关于 HDFS，文章将以简单明了的方式，带你进入大数据领域，对于初学者或工作多年而又想学习一些大数据方面技术的同学，可以轻松入门，引发你的兴趣，分享是一种信念，让我们一起努力。 本场 Chat 您将学到如下内容： HDFS 介绍 架构特点 Hadoop 下载 Linux 基本环境...
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 555
HDFS读写数据流程
揭秘大数据存储基石HDFS-理论篇.pptx_揭秘大数据存储基石HDFS_pptx_
09-29
**大数据存储基石：HDFS（Hadoop Distributed File System）理论篇** ...理解并掌握HDFS的工作原理对于开发和优化大数据应用至关重要。通过不断的迭代和优化，HDFS将持续为大数据处理提供稳定可靠的存储支持。
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1195
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
《大数据导论》HDFS的应用.docx
12-11
【大数据HDFS应用详解】 Hadoop 分布式文件系统（HDFS）是大数据处理的核心组件之一，它为大规模数据处理提供了可靠、可扩展的存储方案。在《大数据导论》中，HDFS的应用通常涉及数据的读取、处理和输出。本实验...
大数据Hadoop中Hdfs的工作原理简洁版
09-18
大数据Hadoop中Hdfs的工作原理可以分为几个主要部分：Hdfs工作原理中主要关键词、SecondaryNamenode的工作机制、Hdfs工作流程、Hdfs的读写流程等。 首先，Hdfs工作原理中主要关键词包括NameNode、SecondaryNameNode...
【大数据入门笔记系列】第三节 Hdfs读、写数据处理流程
01-07
【大数据入门笔记系列】第三节 Hdfs读、写数据处理流程Hdfs简介写数据处理流程读数据处理流程后记跳转 Hdfs简介 一般而言，Hdfs是由一个NameNode节点和若干个DataNode节点组成（非高可用，高可用还有一个...
HDFS 官方文档 中文
Talk Is Cheap
09-18 4916
HDFS是一个分布式文件系统，在普通的价格低廉的商用机器上运行，具有很高的容错性，读写性能很高，比较适用于大块文件，HDFS对外提供POSIX标准的流接口来读写文件。 1.设计目标 1.1宕机容忍 一个HDFS集群会包含数百上千个机器，每个都存储整个HDFS的一部分数据，如果有宕机情况，快速的侦测宕机和自动恢复是HDFS架构的主要设计目标。 1.2流式数据访问 HDFS设计目标更多是为批量
HDFS简介及其功能
热门推荐
qq_40784783的博客
01-19 3万+
HDFS教程在这个HDFS教程博客中继续前进之前，让我带您介绍一些与HDFS相关的疯狂统计信息：Facebook在2010年声称拥有存储21 PB数据的最大HDFS集群之一。在2012年，Facebook宣布他们拥有最大的单个HDFS集群，数据量超过100 PB 。和雅虎！在运行Hadoop的40,000多台服务器上拥有超过100,000个CPU，其最大的Hadoop集群运行4,500个节点。总而
从0开始学大数据（6）：HDFS的数据流
Martin.Mu `s Special Column
03-18 352
前言 通过上一章《从0开始学大数据（5）：HDFS文件系统和常用API》我们学习了一些常用的API进行分析，这章我们来分析HDFS的数据流的写入和读取流程。 1 HDFS写数据的流程 1.1 剖析文件写入 1.2 网络拓扑概念 在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。 我们在平台的节点中，选取两个节点A和B并且向上...
HDFS
px的博客
01-06 972
一、HDFS的体系结构 1、NameNode：主节点        职责：管理维护HDFS   维护了两个非常重要的文件： edits文件  -----> 记录操作日志（事务日志）  fsimage文件 ----> HDFS的元信息(映像文件)         HDFS操作日志：edits文件   位置：find . -name edits*  最新的操作日志：...
HDFS使用
实践求真知
11-22 308
一 HDFS命令行操作演示 [root@localhost ~]# hadoop fs -ls / Warning: $HADOOP_HOME is deprecated.   Found 1 items drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop   [root@localhost ~]# hadoop fs -l
HDFS数据写入流程详解
amingo_ss的博客
04-29 7002
hadoop数据写入流程详解 hadoop数据写入流程是hdfs理论框架的基础，完全理解hadoop的数据写入流程是每一个大数据从业人员的必备技能。 下面以300m文件写入hadoop2.x为例，详细讲解hadoop数据写入的详细过程。 主要包括： 1.数据写入流程图 2.数据写入相关组件 3.数据写入组件通信协议 4.hdfs通信协议 1.数据写入流程图： 数据写入过程详解： （1）客户端发送...
Hadoop压缩技术与Hive文件格式详解
最新发布
qq_45115959的博客
09-09 996
压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否压缩格式对应的编码/解码器DEFLATEgzipbzip2LZOSnappy压缩算法原始文件大小压缩文件大小压缩速度解压速度gzip8.3GB1.8GB17.5MB/s58MB/sbzip28.3GB1.1GB2.4MB/s。
"大数据面试题及HDFS读写流程详解
大数据在当今的信息时代中扮演着至关重要的角色，而HDFS作为大数据存储和处理的重要组成部分之一，其文件读写过程是整个数据处理流程中至关重要的环节。在HDFS写文件的步骤中，首先客户端向NameNode提交上传文件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值