![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 78
become__better
大胆去问,大胆去做,效率
展开
-
加速HDFS集群 RaidNode数据 退役的方法
加速集群退役的方法,结合以往的经验和当前的信息看,阻碍集群退役的block都是RaidNode数据。原创 2023-03-13 11:25:25 · 321 阅读 · 0 评论 -
FB版本RaidNode线程分析——BlockIntegerMonitor
文章目录FB版本RaidNode线程分析——BlockIntegerMonitor概述具体代码线程的创建和启动线程的实现代码(Dist模式)FB版本RaidNode线程分析——BlockIntegerMonitor概述RaidNode上的BlockIntegrityMonitor线程会通过DFSck工具检查系统中corrupt或decomission的数据,通过BlockCopier和BlockFixer线程周期行对出错的数据进行修复。local模式下,修复过程在RaidNode上之行,Dist模式原创 2022-03-25 17:57:20 · 268 阅读 · 2 评论 -
HDFS遍历子目录 Hadoop fs -ls -R path
/hadoop fs -help cmd 可以看命令的介绍hadoop fs -help ls22/03/24 18:47:41 INFO conf.Configuration: Current hadoop.security.authentication = simple-ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] [ …] :List the contents that match the specified file pattern. If path is n原创 2022-03-24 19:49:02 · 2550 阅读 · 0 评论 -
FB版本RaidNode线程分析——PlacementMonitor、PurgeMonitor
文章目录概述PurgeMonitorPlacementMonitor线程实现细节线程的创建和运行PlacementMonitor线程的运行细节PurgeMonitor线程的运行细节概述PurgeMonitorPurgeMonitor主要对过期失效的parity文件、目录进⾏行删除。 PurgeMonitor最主要的是确定purge的元素,它是通过DirectoryTraversal来对进⾏行遍历, 需要提供check⽅方法,来确定返回符合purge条件的元素。!首先是对directory进⾏行purg原创 2022-03-21 11:34:08 · 206 阅读 · 0 评论 -
HDFS写流程
本次学习全程参看于Jin’s Blog文章目录HDFS写流程概述create方法客户端:NameNode端:write方法客户端:概述:数据传输格式具体流程线程操作NameNode端选择DN(主要)更新元信息DataNode端初始阶段时序图close方法客户端:NameNode端:block状态流程:故障恢复clinetHDFS写流程概述![img](https://i.loli.net/2021/09/22/jV1yI5NiOhQbYwe.pngHDFS写流程就是我们通过客户端向HDFS写入原创 2021-10-14 10:29:36 · 92 阅读 · 0 评论 -
HDFS读流程
文章目录HDFS读流程读流程的概述读流程大体步骤对逻辑图的解释读流程代码剖析OPEN方法客户端类关系图**客户端方法关系图**NameNode数据存储逻辑图**服务端方法关系图****对Block列表进行排序**剖析READ方法数据传输格式客户端方法关系图服务端方法关系图数据的检验对checkSum的检验对packet的检验读异常与恢复Q&AHDFS读流程读流程的概述]读流程大体步骤读流程就是client向HDFS读取数据的过程,分成三个部分,其大体步骤:客户端通过调用FileSyste原创 2021-09-03 16:38:39 · 916 阅读 · 1 评论