【精】彻底吃透HDFS写流程（8）-- 数据真正落盘

最新推荐文章于 2022-08-19 18:40:48 发布
最新推荐文章于 2022-08-19 18:40:48 发布
阅读量716 收藏 3
点赞数 4
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/122052825
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
本文深入剖析HDFS数据写入流程，从客户端写数据到Datanode接收，再到BlockReceiver如何将数据写入磁盘。详细解释了BlockReceiver的receiveBlock方法、ReplicaOutputStreams的writeDataToDisk方法以及选盘和创建block副本文件的逻辑，完整展示了HDFS从创建文件元数据到数据真正落盘的过程。
摘要由CSDN通过智能技术生成

有关HDFS写流程的系列文章：
【精】彻底吃透HDFS写流程（1）–BlockConstructionStage
【精】彻底吃透HDFS写流程（2）-- Namenode侧create文件
【精】彻底吃透HDFS写流程（3）-- DataStreamer线程和输出流write方法简要分析
【精】彻底吃透HDFS写流程（4）-- 输出流DFSOutputStream#write方法分析
【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？
【精】彻底吃透HDFS写流程（6）-- addBlock RPC
【精】彻底吃透HDFS写流程（7）-- 客户端sendPacket以及相关输入输出流的对应关系

了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
使用Flume消费Kafka数据并落盘到HDFS
李思成的博客
08-03 1995
1.大体流程 2.具体配置 3.配置流程 1.配置Flume Agent 在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件 [lili@hadoop104 conf]$ vim kafka-flume-hdfs.conf 文件配置内容如下： #定义组件 #由于要分别从Kafka的两个分区中获得数据，因此我们定义两个source #r1获取topic_start的数据，r2获取topic_event的数据 a1.sources=r
Hadoop-MapReduce学习
迷路剑客个人博客
01-24 1298
Hadoop-MapReduce学习 摘要 本文简要将就爱你过MapReduce，重点是Shuffle部分 0x01 MapReduce-Mapper侧 1.1 简介 以上是一张Hadoop官方创作的MR过程图示。我们以大数据届的HelloWorld-WordCount为例讲述下MR过程。 1.2 Split-分片 1.2.1 Split简述 Map阶段的输入通常是HDFS上文件。 在运行Ma...
关于spark落盘到hdfs的文件分发规则及处理总结
aline12的博客
02-21 1346
近期又遇到了不少有关spark/hive表落盘到hdfs的问题，借此机会系统性的记录下学习过程。 此次记录的核心语句就是之前老生常谈的distribute by命令，其后跟的规则不同 会产生截然不同的效果 首先回顾下落盘的过程，每一个reducer都会往某一指定路径下写一个文件，有时候一个reducer只写一个路径，有时候会写多个路径，但核心点在于 每一个reducer只会在某一路径下写一个文件。 我们经常会遇到的小文件过多的问题，以及脚本运行很慢甚至卡死的情况（数据倾斜），其实大多数情况下都和落盘的
HDFS 副本存放磁盘选择策略详解
Hadoop技术博文
03-30 2306
下面代码或格式如有错乱，请访问原文 https://www.iteblog.com/archives/2341.html，或点击下面 阅读原文 即可进入在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不
浅析Hadoop 之 HDFS 的 磁盘配置（包含读写策略）
Yannick Jiang 的专栏
07-11 4415
一、前言:玩个Hadoop 简单配置的同学都知道core-site.xml 和 hdfs-site.xml里有配置 tmp 数据的目录 和 实际数据 data 的目录，那么这些目录在真正任务运行时，磁盘（集群下每个Node多块磁盘时）读写策略 是怎么 选择的呢？二 、相关概念介绍：1. core-site.xml里配置临时数据存放的目录，也可以是临时运行的目录hadoop.tmp.dir /tmp...
hdfs-over-ftp安装包及说明
12-08
【标题】"hdfs-over-ftp安装包及说明"涉及的核心技术是将FTP（File Transfer Protocol）服务与HDFS（Hadoop Distributed File System）相结合，允许用户通过FTP协议访问和操作HDFS上的数据。这个标题暗示了我们将在...
HDFS入门笔记------架构以及应用介绍
02-25
本篇博客将从以下几个方面讲述HDFS：1、分布式文件系统与HDFS2、HDFS的体系结构3、HDFS—-NameNode相关概念4、HDFS—-DataNode相关概念5、HDFS—-block块相关概念6、HDFS—-副本数相关概念7、HDFS的具体操作方式①...
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
04-29
07.HDFS工作机制--namenode元数据管理--checkpoint.mp4
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
kafka数据 落盘_Flume消费Kafka数据落盘至HDFS的实践
weixin_39655689的博客
12-22 493
需求背景我司目前的日志采集是由 Structured Streaming 程序消费数据Kafka中的topic数据，经过ETL后写入HIVE表，但是该类日志程序占用约7个G的内存，这对于我们集群的压力来讲是比较大的(10台32g)。组件调研当前市面上的日志采集框架还是不少的- Apache Flume- Fluentd- Logstash- Chukwa- Scribe- Splunk Forwa...
【漫画系列】HDFS存储原理分析汇总篇
weixin_34273479的博客
11-05 1167
本次分享结合Maneesh Varshney的漫画改编，为大家分析HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进行提供元数据查询；分配数据...
HDFS节点内数据平衡：DiskBalancer
热门推荐
走在前往架构师的路上
06-28 1万+
前言做集群运维的同学可能都会遇到这样一个问题:Hadoop集群使用久了,各个节点上的数据会变得不均衡,多的达到70,80%,少的就10,20%.面对这种场景,我们的办法一般就是用HDFS自带的Balancer工具对其进行数据平衡.但有的时候,你会发现尽管节点间数据平衡了,但是节点内各个磁盘块的数据出现了不平衡的现象.这可是Balancer工具所干不了的事情.通过这个场景,我们引入本文的一个话题点:H
HDFS文件储存目录
weixin_63872288的博客
03-10 5711
HDFS上传文件命令:hadoop fs -put HDFS下载文件命令:hadoop fs -get HDFS储存文件目录实在:tmp/dfs/data/current/finalized/subdir0/subdir0/ #tmp是在配置hdfs-site.xml是所配置的文件夹 tmp/dfs/name/current/VERSION下存储DataNode的clusterID ...
【单点】每日突破，HDFS读写篇
pengpengsays
07-17 177
HDFS写流程 问：请描述HDFS的写流程。 答： 首先由客户端向 NameNode 发起文件上传请求，NameNode 检查文件要上传的目录，并鉴权。 如果上传用户对此目录有权限，则允许客户端进行上传操作。客户端接收到允许指令后，将要上传的文件切分为 Block，之后按照顺序依次上传 block1、block2…block N，不允许多线程并发写入。 按照顺序，开始上传 block1。Client向 NameNode 发起请求，NameNode 会按照 block 副本放置策略，为 block1 选择
【精】彻底吃透HDFS写流程（6）-- addBlock RPC
Badme
12-19 364
【精】彻底吃透HDFS写流程（6）-- addBlock RPC
【精】彻底吃透HDFS写流程（1）--BlockConstructionStage
Badme
12-12 666
【精】彻底吃透HDFS写流程（1）--BlockConstructionStage
HDFS的读写流程
weixin_44216665的博客
08-19 152
HDFS写数据流程，节点距离计算
记一次hadoop增加数据磁盘的过程
qq_39625998的博客
12-18 358
前段时间业务老是执行失败，检查资源使用情况后决定在两台节点上启动datandoe。 节点配置: 2core, 4G memory,2T（空磁盘） 使用ambari操作服务 启动datanode服务时候，启动不起来，排查问题发现是不满足hadoop节点最低要求(注: 与ambari中配置有关！) 给节点升配，节点配置 4core ,16G memory ,2T ，ambari中datanode...
HDFS——fsimage
hncscwc的博客
05-19 3227
【前言】在《HDFS——editLog文件》一文中提到了namenode（后面简称nn）的元数据信息由editlog和fsimage文件组成。editlog文件记录对文件系统的写操作，f...
hdfs dfs -du -h
最新发布
08-19
`hdfs dfs -du -h` 是一个Hadoop命令，用于显示HDFS中文件和目录的大小信息，并以人类可读的方式显示文件大小。它的语法如下： ``` hdfs dfs -du -h <路径> ``` 其中，`<路径>`是要显示大小信息的HDFS路径。 运行该命令后，会显示指定路径下的文件和目录的大小信息。每行显示一个文件或目录，包括文件/目录的大小以及路径。 例如，要显示`/user/hadoop/data`路径下的文件和目录的大小信息，可以运行以下命令： ``` hdfs dfs -du -h /user/hadoop/data ``` 输出结果会以人类可读的方式显示文件和目录的大小信息，如： ``` 1.5 M /user/hadoop/data/file1.txt 2.3 G /user/hadoop/data/file2.txt 4.8 K /user/hadoop/data/dir1 ``` 上述结果表示`file1.txt`的大小为1.5兆字节，`file2.txt`的大小为2.3吉字节，`dir1`的大小为4.8千字节。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值