hadoop 提高hdfs删文件效率----hadoop删除文件流程解析

最新推荐文章于 2024-09-11 10:43:35 发布
最新推荐文章于 2024-09-11 10:43:35 发布
阅读量5.9k 收藏
点赞数
分类专栏： Hadoop学习与使用 文章标签： hadoop hdfs 文件 删除 流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smile0198/article/details/13161307
版权
本文分析了Hadoop HDFS删除文件的流程，包括从DFSClient调用delete函数，NameNode移除namespace中的文件，再到DataNode实际删除文件。通过减小心跳间隔和增加NameNode发送给DataNode的block删除数量来优化效率。具体优化可通过调整dfs.heartbeat.interval和dfs.block.invalidate.limit配置参数实现。
摘要由CSDN通过智能技术生成

前言

这段时间在用hdfs，由于要处理的文件比较多，要及时删除旧文件，但是发现hdfs的blocks数一直在上涨，经分析是hdfs写入的速度较快，而block回收较慢，所以分心了一下hadoop删文件的流程，并做了调优，希望对遇到此类问题的程序猿们有帮助。

正文

  经分析与查看源码发现，hdfs删除文件的流程是这样的：

（1）java程序中的DFSClient调用delete函数，删除文件

      （2）NameNode将文件从他的namespace中删除

最低0.47元/天 解锁文章
架构师思考实践
关注
专栏目录
【Hadoop】文件删除过程以及Namenode RPC处理请求优化之IBR
m0_37956758的博客
09-21 1043
描述hadoop删除文件过程以及IBR
HDFS大目录文件删除方案的实践思考
走在前往架构师的路上
04-26 1632
文章目录前言HDFS的大目录删除行为HDFS大目录删除实现方案思考引用 前言 前面几篇文章笔者讲述了2篇关于文件目录删除的相关文章，也提到了一些相对应的解决方案和思路。不过笔者本文想再谈谈对于这个问题的一些思考，主要关注在HDFS下大目录的删除性能影响方面。不敢说是谈论的是HDFS大目录删除的最佳实践方案，但是在某些点上，在实际环境中还是有一定的可应用性的。本文部分内容会引入笔者前段时间写的两篇...
HDFS批量清理过期文件
最新发布
sunxunyong的博客
09-11 1086
Func: 删除指定时间之前的过期，这里设置的是30天前。#将待检测的目录(可以为多个)加载至数组中。将读取出来的一行拆分成各个参数使用！#HADOOP所在的bin目录。# 管道输入重定向: cat。#当月、上个月生产过滤条件。#待检测的HDFS目录。#Func: 执行删除。
Hadoop学习——HDFS数据存储和删除
07-09 1万+
HDFS中的数据都是分块存储的，默认块大小为64M，这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量，因为可以同时从读取文件的不同分块。 一、数据写入 在客户端想HDFS写数据的过程中，主要分为下面几个过程： 客户端将数据缓存到本地的一个临时文件中；当这个本地的临时文件到达HDFS中的块大小限制时，客户端访问Namenode，
HDFS 冗余数据块（Block）的自动删除
LoganMaaa的博客
08-02 1711
本文参考： https://www.jianshu.com/p/4e4316ae0e17 https://www.jianshu.com/p/5ef70a66019a     在日常维护Hadoop集群的过程中，发现一种情况（Block 默认3）：某节点由于网络故障或者DataNode进程的死亡，被NameNode判定为死亡（此时位2），HDFS马上自动开始数据块的容错拷贝（从2到3）。当该...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip
06-12
赠送Maven依赖信息文件：hadoop-hdfs-client-2.9.1.pom； 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.hadoop:hadoop-hdfs-client:2.9.1；...
hadoop-hdfs-2.7.3-API文档-中英对照版.zip
04-20
赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.hadoop:hadoop-hdfs:2.7.3； 标签：apache、hdfs、...
hdfs清理数据后，Blocks Pending Deletion持续增长导致磁盘不释放问题记录
10-31 3106
hdfs清理数据后，Blocks Pending Deletion持续增长导致磁盘不释放问题记录
NameNode与DataNode删除块逻辑分析
王小禾
07-22 2761
1.删除逻辑分析 1.删除文件NameNode入口 2.RedundancyMonitor监控线程 3.DataNode心跳及IBR 2.大量删除数据块的隐患及解决办法 1.背景 出现多次Unable to close file情况，具体如下。 Client： Caused by: java.io.IOException: Unable to close file because the last block does not have enough number of...
Hadoop3.2.1 【 HDFS 】源码分析 :数据块管理解析
张伯毅的专栏
10-12 7608
Table of Contents 一.前言 二. Block、 Replica、 BlocksMap 2.1.Block 2.2.BlockInfo 2.3.BlockUnderConstructionFeature 2.4.BlocksMap类 2.5.Replica类状态 2.6.Block类状态 三.数据块副本状态 3.1.BlockManager数据结构 3.2.CorruptReplicasMap类 3.3.InvalidateBlocks类 3.4.LowRedun.
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
热门推荐
龙叔的博客
11-08 1万+
答应我，别再做无用功了
HDFS通过WEB UI操作文件
Button的博客
02-02 2029
HDFS通过WEB UI操作文件
HDFS数据处理速度比本地数据慢得多
chongjiapi1753的博客
12-19 2675
参考https://www.cnblogs.com/sdksdk0/p/5585047.html 【HDFS原理】 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS体系结构中有两类节点，一类是NameNod...
HDFS文件误删怎么办，一招教你恢复回来，再也不用担心删库跑路了
Vicky_Tang
09-25 3514
本文基于 Hadoop3.1.2版本讲解 HDFS 文件删除过程 下面是hdfs删除路径的方法，源码路径org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete() /** * Remove the indicated file from namespace. * * @see ClientProtocol#delete(String, boolean) for detailed description and .
HDFS——如何将文件从HDFS上删除
三分地
04-18 7354
用命令行bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹) 用HDFS的API也是可以的。如下： import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.
Hadoop-HDFS：分布式文件系统架构解析
"本文详细介绍了基于Hadoop的分布式文件系统HDFS(Hadoop Distributed File System)的架构，包括NameNode的功能、心跳机制以及DataNode的角色。同时，讨论了HDFS的优缺点，适合处理大数据和批处理任务，但在低延迟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值