【大数据学习】之hdfs垃圾回收站配置

最新推荐文章于 2024-06-26 14:10:05 发布
最新推荐文章于 2024-06-26 14:10:05 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35826412/article/details/83066311
版权

我们知道linux是没有垃圾回收站的，而hdfs同样默认是没有的，但是hdfs是可以开启垃圾回收站的。

1、我们可以登录官网，选2.8.5版本， https://hadoop.apache.org/docs/r2.8.5/  拉到页面最下面点击core-default.xml

2、然后在页面按ctrl + F 全局搜索"trash"，找到fs.trash.interval和fs.trash.checkpoint.interval

可以看看在其右边的注释，英文不好的可以用google的网页翻译一下哈

fs.trash.interval 
0禁用。
该值一般设1440分钟，即1天，保留垃圾回收站的文件或文件夹1天 超过就自动删除

fs.trash.checkpoint.interval
0, the value is set to the value of fs.trash.interval
即，如果为0，就跟fs.trash.interval设的值一样。默认设为0。

最低0.47元/天 解锁文章
大数据之hdfs详解之五：垃圾回收站剖析
Sylvia_D507的博客
10-13 706
首先需要明白一点，现在linux系统好像没有回收站的说法了，所以在删除别人的文件或文件夹之前一定要慎重，毕竟rm命令是高危命令，删除了就没有了，所以对于高危命令，我们要保持敬畏之心. hdfs在部署的时候默认垃圾回收站是禁用的，因此hdfs是可以开启垃圾回收站的。 先看看官网对回收站的解释： 第一个参数：fs.trash.interval=0 表示禁用 Number of minutes aft...
HDFS回收站-删除策略详解
最新发布
bck1453925668的博客
08-19 1051
HDFS拥有回收站的功能，将某一段时间的删除的数据，放到指定路径（/user/{username}/.Trash），至少保留指定的时间，然后一起删除。现实中发现回收站里有该删除的却没有删除，和回收站原理逻辑对不上。以下从源码上看看到底是什么原因导致的。
HDFS垃圾回收站配置及使用
csp75739的博客
05-25 766
HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/， 每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就...
HDFS中的回收站
xhh198781的专栏
12-30 4637
在Linux操作系统下面，如果用户删除了某一个文件或者是某一个文件目录，操作系统并不会把这文件从文件系统中真正删除，而是先把它放入回收站中，这样在用户误操作的情况下还能找回原文件，以防止给用户造成中大损失。实际上，HDFS也为用户提供了类似这样的一个功能，但是这样的功能只限于用户在客户端的脚本操作，也就是HDFS的shell命令，而当用户写程序调用HDFS的API时，NameNode并不会把删除的
CDH中 HDFS开启回收站
qq_18629653的博客
11-01 1159
fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -skipTrash /test 2. fs.trash.checkpoint.interval 创建检查点时间间隔（需要重启HDFS） 设置1小时创建一次检...
Hadoop 教程 - Hadoop HDFS Trash垃圾回收详解
qq_33240556的博客
06-26 779
Hadoop HDFS的Trash（回收站）机制是为了防止误删重要文件而设计的，它允许用户在文件被永久删除之前有机会恢复。
【HDFS运维】HDFS回收箱机制：原理、配置、配置可能导致的问题分析
hiliang521的博客
12-05 1290
【HDFS运维】HDFS回收箱机制：原理、配置、配置可能导致的问题分析
12、HDFS Trash垃圾桶回收介绍与示例
05-29
【HDFS Trash垃圾桶回收介绍】 HDFS（Hadoop Distributed File System）是Apache Hadoop项目的核心组件，提供分布式存储服务。在HDFS中，文件删除操作默认是不可逆的，但通过启用Trash功能，HDFS引入了一个类似操作...
HDFS Trash回收机制详解与配置实践
"12、HDFS Trash垃圾桶回收介绍与示例，详细讲解了HDFS的回收站机制，包括Trash的启用、配置以及验证过程。" 在分布式文件系统HDFS（Hadoop Distributed File System）中，数据的安全性是至关重要的。当用户误删...
hdfs回收站的设置
张不帅
11-07 1216
1）默认回收站 默认值 fs.trash.interval=0，0 表示禁用回收站，可以设置删除文件的存活时间。 默认值 fs.trash.checkpoint.interval=0，检查回收站的间隔时间。 要求 fs.trash.checkpoint.interval<=fs.trash.interval 启用回收站 修改core-site.xml 配置垃圾回收时间为1分钟 &lt...
Hadoop之HDFS回收站
weixin_34405332的博客
08-18 104
Hadoop回收站trash，默认是关闭的。习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了。1.修改conf/core-site.xml，配置如下：<property> <name>fs.trash.interval</name> <value>1440</valu...
HDFS 的Trash回收站功能的配置、使用
热门推荐
辉哥大数据
12-28 1万+
文件的删除和恢复 和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在Name
4.1 心跳机制和垃圾回收机制
c_lanxiaofang的博客
08-05 948
任务目的 了解心跳机制流程 知晓 NameNode 感知 DataNode 掉线死亡的时长计算公式 学会在配置文件中设置心跳机制 掌握开启 HDFS 垃圾回收机制的方法 任务清单 任务1：Hadoop 心跳机制 任务2：垃圾回收机制 详细任务步骤 任务1：Hadoop 心跳机制 1.1 心跳机制简介 　　现在有这样一个应用场景： 　　在长连接下，有可能很长一段时间都没有数据往来。理论上说，这个连接是一直保持连接的，但是实际情况中，如果中间节点出现什么故障是难以知道的。更要命的是，有的节点
HDFS知识点
ljh18885466426的博客
12-04 1052
HDFS HDFS介绍： HDFS就是hadoop分布式文件系统，是hadoop核心组件之一，作为最底层的分布式存储服务而存在。 HDFS解决的问题就是大数据存储 hdfs的垃圾桶机制： 垃圾桶机制解析： 每一个文件系统都会有垃圾桶机制，便于将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件，回收到垃圾桶里里面的资料数据，都可以进行恢复。 垃圾桶机制配置： HDFS的垃圾回收的默认配置属性为0，也就是说，如果不小心误删除了某文件，那么这个文件就不可恢复的，为了解决这个问题，就可以利用垃圾桶机制。
Hadoop集群垃圾箱配置 | fs.trash.interval
Gamedev
03-03 5286
启用Hadoop集群垃圾箱配置 配置参数： &lt;property&gt; &lt;name&gt;fs.trash.interval&lt;/name&gt; &lt;value&gt;10&lt;/value&gt; &lt;description&gt;检查点被删除后的分钟数。 如果为零，垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。...
hive建表报错Moved:
qq_45626867的博客
02-19 427
报错信息 Moved: 'hdfs://node1:8020/ODS/ODS_DB/BER_O2O_USER_LABLE' to trash at: hdfs://node1:8020/user/root/.Trash/Current Moved: 'hdfs://node1:8020/ODS/ODS_DB/BER_O2O_USER_LABLE' to trash at: hdfs://node1:8020/user/root/.Trash/Current Moved: 'hdfs://node1:8020
HDFS的垃圾回收机制
萌兔兔MMQ！！
08-15 1622
要格外注意的是，在 步骤2 时，有可能在操作过程中提示File Not Exists，这时不要惊慌，文件并没有丢失，其实是进行了 步骤3，文件移动到了另一个目录而已。回收站checkpoint机制：进入回收站的文件首先进入Current目录，然后定期移动到一个时间戳目录，定期的间隔为60分钟。开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除。被删除的文件会进入回收站，默认保留1440分钟后完全删除。本质是把删除文件 首先移动一个指定的文件夹下面。垃圾回收机制演示效果。.
开启回收站配置
weixin_48888366的博客
11-23 341
开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 1.开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。 （3）要求fs.trash.checkpoint.interval <= fs.trash.in
5. HDFS 回收站
cl2010abc的专栏
05-31 938
指文件在回收站的暂存时间，文件被删除后实际上是被移动到回收站暂存目录下，而不是马上删除。通过命令的输出结果我们可以看到/test/a.txt文件实际被move到/root/.Trash/Current目录下了。hadoop 的HDFS中也提供了回收站（trash）的概念，使得数据被误删以后，还可以通过回收站找回来。我们以test目录为例，下面有一个名为a.txt文件，我们对它执行删除操作。如果刚才的操作是一时不小心，那么通过mv命令可以将文件还原回去。再次被验证文件被转移到回收站暂存目录下了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值