HDFS读数据流程

最新推荐文章于 2022-11-15 20:14:21 发布
最新推荐文章于 2022-11-15 20:14:21 发布
阅读量158 收藏
点赞数
分类专栏： 大数据集群 HDFS 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sghuu/article/details/98127600
版权

HDFS读数据流程

在这里插入图片描述

  1. 客户端Client生成一个集群对象Distribute FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到块所在的D阿Node地址。
  2. 根据就近原则然后随机挑选一台DataNode服务器，读取数据
    3.DataNode开始传输数据给Client客户端（从磁盘里面读取输入流，以Packet《Packet为中等单位64k，DfSClient流向DataNode的粒度》为单位做校验）
  3. 客户端以Packet为单位接收，先在本地缓存,然后写入目标文件
sghuu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 555
HDFS读写数据流程
HDFS读数据流程简述
久醉绕心弦的博客
07-10 1276
1）客户端通过向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。 ...
HDFS数据的读写过程
孤竹的博客
05-20 8604
1.一般的文件读取操作包括：open 、read、close等 客户端读取数据过程，其中1、3、6步由客户端发起： 客户端首先获取FileSystem的一个实例，这里就是HDFS对应的实例： ①客户端调用FileSystem实例的open方法，获得这个文件对应的输入流，在HDFS中就是DFSInputStream ②构造第一步中的输入流DFSInputStream时，通过RPC远程调用Na
HDFS（4） --HDFS文件读写流程（最详细！！！）
kismet
11-05 3237
文件写入过程： 详细步骤： 1.client发起文件上传请求，通过rpc与namenode建立通讯，namenode检查目标文件是否存在，父目录是否存在，返回是否可以上传 2.click请求第一个block该传输到那些datenode服务器上 3.namenode根据配置文件将指定的备份数量以及机架感知进行文件分配，返回可用的dataname的地址 4.click请求三台dat...
HDFS的读，写数据流程
Daniel_Dictator的博客
11-22 202
HDFS写数据流程 1)客户端通过DIstribute FileSystem模块向NameNOde请求上传文件，NameNode检查目标文件是否已经上传，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个Block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为dn1，dn2，dn3. 5）客户端通过FSDataOuto...
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1195
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
HDFS的读写数据流程
LuciferLonelines的博客
11-15 427
HDFS读写数据的流程
HDFS读写数据的过程
Rnan_prince的博客
12-01 3630
1、数据单位： 　　block ：文件上传前需要分块，这个块就是block，一般为128MB，可以修改。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的 　　　　　　一个单位。 　　packet ：packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 　　chunk ：chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基
Hive——Hive的数据模型_内部表（6）
付之一笑的专栏
10-28 265
Hive的数据存储 基于HDFS 没有专门的数据存储格式 存储结构主要包括：数据库、文件、表、视图 可以直接加载文本文件（.txt文件） 创建表时，指定Hive数据的列分隔符与行分隔符 表 Inner Table（内部表） 与数据库(MySQL、Oracle)中的 Table 在概念上是类似 默认的列分隔符是：tab键 每一个 Table 在 Hive 中都有一个相应的目录存储数...
hdfs数据读写流程
Romantic_sir的博客
04-10 1793
hdfs写数据流程 1、客户端通过Distributed FileSystem模块向namenode请求上传文件到/user/atguigu/ss.avi这个路径文件 2、校验文件是否存在，如果存在就会报目录存在这个错误，如果不存在则相应可以上传文件 3、客户端请求第一个Block（0-128M）上传到那几个DataNode服务器上 4、返回dn1，dn2，dn3节点，表示这三个节...
【Hadoop】Hive基础
weixin_38776330的博客
08-11 186
初识Hive 一、什么是Hive Hive是构建在hadoop之上的数据仓库。不是用来增删改查的那种数据库，那是数据库。 1）数据计算是MapReduce 2）数据存储是HDFS 二、 认识Hive Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以*将结构化的数据文件映射为一张数据库表*，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL
HDFS读/写数据的流程
Tiramisu
06-28 300
HDFS的写数据流程 1、客户端Distributed FileSystem模块向NameNode发送请求，请求上传文件/user/atguigu/ss.avi 2、NameNode检测是否有目录，文件是否存在；检查完毕后，响应客户端可以上传文件 3、一个块是128M，上传的文件为200M；客户端向NameNode请求上传第一个block(0-128m)，询问上传到哪个DataNode节点 4、NameNode根据客户端和DataNode节点之间的距离和以及DataNode负载情况，返回DataNode节
Hadoop中HDFS读写数据的流程分析
weixin_43469563的博客
03-15 506
在Hadoop中,我们知道,MapReduce是用来对数据进行分析和计算的,而HDFS是用来对数据进行存储的,那么,接下来我们将对HDFS有一个简单的认知. 1:HDFS的两种角色 在HDFS中,分为两大角色, NameNode: 负责客户端请求的响应(对外提供一个抽象目录树) 实现元数据的管理(查询,修改) Name对数据的管理采用了三种存储形式: 内存元数据:内存中有一份完...
hadoop配置三个JAVA_HOME的环境变量的原因
sghuu的博客
09-24 4600
hadoop是守护线程 读取不到 /etc/profile 里面配置的JAVA_HOME路径 ， 所以在 hadoop-env.sh yarn-env.sh mapreduce-env.sh 配置 JAVA_HOME, 这样才能读取到JAVA_HOME
关于格式化NameNode的几点注意
sghuu的博客
09-24 3503
格式化步骤 ： 先jps查看当前是否有hadoop相应的进程 如果有则关闭相应的进程 ，如果还有残留进程 则用 kill -9 端口号 杀死进程 原因： 如果在开启进程的时候去上出data和logs文件夹，因为进程仍然在运 行还是会产生相应的data和logs文件，所有并不能删除相应的记录 结束相关的进程后，在hadoop的目录下删除data和logs文件夹 原因 格式化...
hadoop的block大小的原因以及其他的block大小
sghuu的博客
09-27 1925
hadoop的block大小的原因 HDFS中的文件在物理上是分块存储的，快的大小可以通过配置参数来规定，默认在hadoop2版本中是128M,老版本是64M。 128M是由于大部分磁盘的传输速率决定的，一些大厂提高磁盘的传输速率从而将块的大小设置为256M的大小，目前普遍为128M； 块的过大和过小带来的影响： 1、块过小 当一个问价较大时，此时就会产生数量巨多的块，则在程序执行时会大量增加寻...
HDFS的读数据流程和HDFS的写数据流程
最新发布
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值