hadoop中HDFS的写流程

最新推荐文章于 2024-09-28 18:16:50 发布
最新推荐文章于 2024-09-28 18:16:50 发布
阅读量66 收藏
点赞数 2
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63713536/article/details/134734050
版权

我们先来看下面一张图

        当客户端需要上传数据到HDFS的时候

  1. 客户端先创建一个分布式文件系统对象，向NameNode管理节点数据目录的老大提交上传文件请求
  2. NameNode会先查看你是否有上传文件的权限如果通过之后再查看要上传的文件是否已经存在，然后响应给客户端是否可以上传文件

  3. 客户端请求第一个 Block上传到哪几个DataNode服务器上。

  4. NameNode会根据存储节点来选择：首先选择本地节点，其次是同个机架上的一个节点，最后是其他机架的另一个节点，返回给客户端可以存储的地点

  5. 客户端创建数据流，这个时候大家就要思考一个问题，如果客户端向每个节点一个一个写入数据，如果其中一个节点因为硬件等方面问题写入时间很久，这个写过程就要等待很久，那么可以先创建一个传输管道，先向本地节点建立文件传输管道，如A-B-C

  6. 建立之后给客户端响应说我们已经建立完毕

  7. 客户端以chunk 512B的数据和4B校验位作为一个单位也就是516B，封装在容量为64K的packet里面进行传输，每次传输以Packet为单位

  8. 最后数据传输成功啦

黑心大老板～
关注
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2091
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
Hadoop-HDFS写流程（从命令行到完成）
lu070828的博客
01-16 1666
DataStreamer线程从dataQueue中拾取数据包，将其发送到管道中的第一个数据节点，并将其从dataQueue移动到ackQueue。当一个块的所有数据包都被发送出去，并且每个数据包的acks都被接收到时，DataStreamer就会关闭当前块。创建后，该文件可见，可供其他客户端读取。9、界面无报错，通过命令（hadoop fs -du -h /user/hhs/test_dir）查看结果 （如果可能也会报错，DataStreamer会进行维护将原始管道中消除坏的数据节点来设置新的管道）
Hadoop中HDFS的读写流程详解
m0_52835696的博客
04-13 5299
一、HDFS写流程示意图： （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在,检查客户端是否有权限，如果以上条件均满足，执行（2） （2）NameNode响应客户端的请求，允许其上传文件。 （3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 （注意：NameNode在返回3个DataNode节点之前，会存储相关信息到元数据，用于对其的管理） （4）NameNode返回3个DataNo
Hadoop笔记 HDFS读写流程
baidu_41586315的博客
11-30 584
HDFS读写流程
Hadoop：HDFS读写流程详解
小M呀~之大数据系列
11-26 788
hdfs分布式存储是hadoop的一个重要组成部分，本次将对dfs的hadoop的输入输出（上传下载）的过程进行简要介绍。
【Hadoop】HDFS读写流程和客户端命令使用
康师傅没有眼泪
08-26 4112
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
Hadoop HDFS 读写流程
记录点点滴滴
04-17 708
节点距离计算 : 如 : 数据中心 d1 机架 r1 中的节点 n1 , 该节点表示为 /d1/r1/n1。HDFS 写数据时， NameNode 会选择距离 Clinet 最近 DataNode 接收数据。Crtl + n 查找。
Hadoop：HDFS读写流程
热门推荐
学习记录和总结
05-25 1万+
HDFS读写流程
Hadoop面试之HDFS读写流程
weixin_50971474的博客
09-08 565
Hadoop面试之HDFS读写流程
Hadoop-HDFS读流程（从输入命令到回显）
lu070828的博客
01-11 1465
因此需要知道这个文件对应的了多少块（包括副本）都在什么哪些节点上以及节点的哪些目录中（那就需要请求NameNode），通过机架感知找到离Client节点最近的文件对应的每个块，然后依次发起读请求（请求DataNode），最后合成结果文件即可。FSNamesystem处已经写了块信息列表是按照和客户端的距离排好序的，这里剔除了坏块DataNode信息和需要忽略的DataNode，然后取列表中的最后一个DataNode来做为最终的DataNode，如果找不到就报告块丢失）
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统中的重要...
大数据Hadoop中Hdfs的工作原理简洁版
09-18
大数据Hadoop中Hdfs的工作原理可以分为几个主要部分：Hdfs工作原理中主要关键词、SecondaryNamenode的工作机制、Hdfs工作流程、Hdfs的读写流程等。 首先，Hdfs工作原理中主要关键词包括NameNode、SecondaryNameNode...
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1186
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
Hadoop HDFS命令操作实例
csdn2486的博客
09-28 516
首先检查master0、slave0虚拟机网络和java版本（”1.7.0_71”）,检查后再启动hadoop[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)再检查是否启动成功1、创建HDFS目录：-p可以递归创建2、查看之前创建的HDFS目录注意：因为登录的用户为csu，所以会显示/user/csu下的目录。
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 353
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
【已解决】【Hadoop】找到java环境路径
Kika写代码的博客
09-28 289
在 Hadoop 环境中，Java 环境路径通常指的是 Java 的安装目录，因为 Hadoop 是用 Java 编写的，并且需要 Java 运行时环境（JRE）或 Java 开发工具（JDK）来运行。
WPF入门教学二十三 自定义控件开发
最新发布
Life is not divided
09-28 258
自定义控件提供了更高级的功能，允许开发者继承并扩展WPF框架中的现有控件。完成自定义控件的开发后，可以在其他WPF项目中引用并使用它。
大数据毕业设计选题推荐-重庆旅游景点数据分析系统-Python-Hive-Hadoop-Spark
IT研究室的博客
09-28 980
近年来，重庆作为中国西部地区的重要旅游目的地，其旅游业呈现出蓬勃发展的态势。根据重庆市文化和旅游发展委员会的数据，2022年重庆接待国内外游客3.19亿人次，同比增长35.6%；实现旅游总收入3,651.23亿元，同比增长41.2%。这一增长趋势在线上平台得到了充分反映，据某知名旅游网站统计，2022年重庆相关景点搜索量同比增长50%，用户评价数量增长62%。然而，面对如此海量的旅游数据，游客、旅游企业和管理部门往往难以有效地提取和分析有价值的信息。
【WPF开发】控件介绍-textblock（文本、文字控件）
qq_39150957的博客
09-25 329
本文主要由浅入深讲了WPF的textblock控件的基础用法、高级用法、事件等相关内容，面向新手小白的教程
Hadoop HDFS写文件流程详解
"HDFS写文件流程-hadoop 介绍" Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要设计用于处理和存储海量数据。这个框架基于Java实现，能够在大规模计算机集群中高效运行。Hadoop的灵感来源于Google的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值