HDFS 空间回收在利用 & 文件删除和取消

最新推荐文章于 2023-03-09 13:57:46 发布
最新推荐文章于 2023-03-09 13:57:46 发布
阅读量739 收藏
点赞数
分类专栏： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kevin6899/article/details/8167467
版权
参考地址：http://hadoop.apache.org/docs/stable/hdfs_design.html#File+Deletes+and+Undeletes
hadoop fs -expunge 的说明，以及HDFS 空间回收在利用
当一个文件被一个用户或者一个文件删除，它不是立刻从HDFS上移除，相反，HDFS首先将其重命名到/trash 目录，只要这个文件还在 /trash 它能快速的恢复，文件保留在配置文的指定时间内，在/trash 到期后，NameNode 从 HDFS namespce 删除这个文件，删除这个文件将释放与这个文件相关的blocks， 注意，在一个文件被用户删除时和在空闲的HDFS相应的增加有可能有明显的延迟。
kevin6899
关注
专栏目录
大数据之hdfs详解之五：垃圾回收站剖析
Sylvia_D507的博客
10-13 684
首先需要明白一点，现在linux系统好像没有回收站的说法了，所以在删除别人的文件或文件夹之前一定要慎重，毕竟rm命令是高危命令，删除了就没有了，所以对于高危命令，我们要保持敬畏之心. hdfs在部署的时候默认垃圾回收站是禁用的，因此hdfs是可以开启垃圾回收站的。 先看看官网对回收站的解释： 第一个参数：fs.trash.interval=0 表示禁用 Number of minutes aft...
【HDFS】【HDFS架构】【HDFS Architecture】【架构】
最新发布
wq6qeg88的博客
02-17 778
1 Introduction介绍 The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems
HDFS删除并清空回收站
weixin_30666753的博客
05-17 628
删除文件并放入回收站： 　　hdfs dfs -rm -f /path 删除文件不放入回收站： 　　hdfs dfs -rm -f -skipTrash/path 清空回收站： 　　hdfs dfs -expunge (执行完之后会打一个checkpoint，并不会立即执行，稍后会执行清空回收站操作) 转载于:https://www.cnblogs.com/0xcafedaddy...
HDFS- 空间回收
Piepis的博客
08-05 314
文件删除和取消删除 当客户端发起一个删除指令：Hadoop fs -rm /park01/.txt,这个指令会传给namenoe 当namenode收到指令后，做路径和权限检测，如果检测都通过，会将对应的文件信息从内存里删除，此时，文件数据并不是马上就从集群上被删除。 datanode向namenode发送心跳时（默认时3s周期），会领取删除指令，然后从磁盘上将文件删除。 如果启用了垃圾箱配置，则 FS Shell 删除的文件不会立即从 HDFS 中删除，而是 HDFS 将其移动到垃圾目录（/user/
hdfs如何添加和撤销数据节点
weixin_39950222的博客
09-09 271
https://www.jianshu.com/p/cdda3390b3ae 在HDFS中提供了dis.hosts (include文件)文件和dfs.exclude文件(exclude文件)，对连接到namenode的数据节点进行管理，include和exclude保存在FNamesystem中的hostsReader中， Include文件：指定了可以连接到namenode的数据节点列表 ...
HDFS空间不足解决方法
weixin_38425162的博客
06-04 4132
1、执行sudo -u hdfs hadoop fs -du -h / 查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件） 2、找到目录 /user/root/.sparkStaging 占用了大量空间，此目录下存放的是各spark历史任务依赖文件 3、执行hdfs dfs -rm -r /user/root/.sparkStaging/* 删除此目录下的文件夹 4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可 ...
HDFS design
03-05
##### 11.1 文件删除与取消删除 当用户删除文件时，HDFS并不会立即释放这些文件占用的空间。用户可以在一段时间内取消删除操作，以便恢复误删的文件。 ##### 11.2 减少复制因子 用户可以根据需求减少文件的复制...
HDFS原理总结
_wells的博客
07-29 5037
1. HDFS优缺点 1.1 优点 1.1.1 高容错性 可以由数百或数千个服务器机器组成，每个服务器机器存储文件系统数据的一部分； 数据自动保存多个副本； 副本丢失后检测故障快速，自动恢复。 1.1.2 适合批处理 移动计算而非数据； 数据位置暴露给计算框架； 数据访问的高吞吐量； 运行的应用程序对其数据集进行流式访问。 1.1.3 适合大数据
【若泽大数据实战第十一天】HDFS详解
强悍de巨人
05-20 801
前言：网上摘录的一些 hdfs的信息。1. HDFS优缺点1.1 优点1.1.1高容错性可以由数百或数千个服务器机器组成，每个服务器机器存储文件系统数据的一部分；数据自动保存多个副本；副本丢失后检测故障快速，自动恢复。1.1.2适合批处理移动计算而非数据；数据位置暴露给计算框架；数据访问的高吞吐量；运行的应用程序对其数据集进行流式访问。1.1.3适合大数据处理典型文件大小为千兆字节到太字节；支持单...
HDFS原理与操作及API编程
ironxu的专栏
05-29 1793
HDFS原理与操作及API编程 HDFS原理与操作及API编程 HDFS新特性，高可用，联邦，快照 HDFS 提供分布式存储机制，提供可线性增长的海量存储能力 自动数据冗余，无须使用Raid，无须另行备份 为进一步分析计算提供数据基础 HDFS 设计基础与目标 硬件错误是常态，因此需要冗余 流式数据访问，即数据批量读取非随机读写 大规模数据集 简单一致性模型。为降低系统复杂度，对文件采用一次性写多次
HDFS磁盘清理维护
蜀门嗯哼的博客
03-09 2430
HDFS磁盘查看清理
如何恢复在HDFS中删除的文件
hotbigdata的博客
04-20 5540
       在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o       我们可以通过下面几种方式来恢复误删除文件：       在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
SVN:找到并恢复被误删除的目录/文件
热门推荐
w171066的专栏
11-17 5万+
这周一发现一个很重要的库里面的rel_tags目录没有了，赶紧查看日志。找到下面的文章，使用了如下方法： 1.在本地workingcopy中，用TortoiseSVN->Showlog查看版本库的历史记录。可以用search。 2.找到删除该文件或者文件夹的版本，在Logmessage里右键Revertthechangesfromthisrevision。 3.该文件或文件夹就被恢复到本地的
HDFS 文件夹或者文件删除 或者误删
yisun123456的博客
06-06 1万+
HDFS会早每一个用户目录下创建一个回收站目录，即：/user/username/.Trash。每一个被删除的文件和目录，都会有一个回收周期（fs.trash.interval）。在这个回收周期内，文件实际上会被移动到这个回收站目录下面，可以被用户手动进行恢复。当回收周期到达时，HDFS就会将这个文件/目录彻底删除。在每个节点的core-site.xml上配置为1天：<property&gt...
hdfs数据误删后恢复方式
java_atguigu的博客
02-25 5042
我们知道hdfs是hadoop体系上的文件系统，负责具体的数据文件存储，且如果一旦hdfs文件被误删除后，尤其是重要数据，对公司来说影响非常大。所以需要提前做一些安全预防措施，例如使用Hdfs Trash机制，或者重要目录应用Hdfs SnapShot功能，然后针对于删除的文件或者目录可以通过trash或者SnapShot机制来进行恢复，如果数据确实已经删除了（例如直接通过hadoop api进行delete，未配置SnapShot），如果想恢复数据，就需要快速采取一定的措施了。下面我们来分别介绍下这些恢复
大数据运维日记之清理磁盘
Maynor的博客
08-16 2696
在平时删除HDFS文件时，可以使用命令：hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently，这样的话文件就直接删除了，不会放在回收站（注：此种删除为永久删除，无法恢复数据），用这个命令删除HDFS数据的话，后期就无需清空HDFS回收站。对于很多CDH使用者来说，随着时间的推移，磁盘空间会越来越少，除了一部分数据占用外，其他的一部分空间不知道保存着什么数据，无法清理，本博主今天就分享一下定期清理CDH集群指南。...
Linux空间不足、HDFS空间不足解决方法
阿拉修
07-17 1324
参考https//blog.csdn.net/weixin_38425162/article/details/117570524。2、找到目录/user/root/.sparkStaging占用了大量空间，此目录下存放的是各spark历史任务依赖文件。3、执行hdfsdfs-rm-r/user/root/.sparkStaging/*查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件）4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可。...
HDFS删除文件之后空间不释放,LINUX删除文件之后空间不释放
liu82327114的博客
11-27 8543
删除文件之后空间不释放在我这遇到的情况主要有两种： 1.hdfs删除文件之后空间不释放 针对此种情况主要是hdfs的回收站功能，为了防止文件误删除，删除的文件会先放到回收站里。 删除的时候也可以直接彻底删除，只需 hdfsdfs -rm -r -skipTrash即可 也可以禁用hdfs的回收站功能，hdfs回收站的功能控制是zaicore-site.xml文件中 ...
Hadoop：HDFS空间回收
oraclestudyroad的博客
07-29 2861
Hadoop培训课程：HDFS空间回收，1.文件的删除和恢复，2.减小副本系数 1.文件的删除和恢复 当用户或应用删除某个文件时，这个文件并没有立刻从HDFS中被删除。相反，HDFS将这个文件重命名，并转移到trash目录下。当文件还在trash目录下时，该文件可以被迅速恢复。文件在trash目录中保存的时间是可设置的，当超过设定的时间后，NameNode就会将该文件从namespac
HDFS Trash回收机制详解与配置实践
1. **测试删除操作**：在HDFS中创建一些文件或目录，然后尝试删除它们。如果Trash功能正常，文件应该会移动到`.Trash/current`目录下。 2. **检查检查点**：随着时间推移，观察`/user/${username}/.Trash`目录下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值