CDH中 HDFS开启回收站

最新推荐文章于 2024-04-27 07:30:00 发布
最新推荐文章于 2024-04-27 07:30:00 发布
阅读量1k 收藏 4
点赞数 1
文章标签： hadoop 大数据 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18629653/article/details/109428484
版权

  1. fs.trash.interval    垃圾桶功能（需要重启HDFS）

        如果为零，垃圾桶功能将被禁用

        设置7天后垃圾回收站中的文件会被系统永久删除

        如果需要直接删除，不放进回收站需要使用下面命令删除

        hadoop fs -rm -r -skipTrash /test

      2. fs.trash.checkpoint.interval    创建检查点时间间隔（需要重启HDFS）

       设置1小时创建一次检查点目录，会在  /user/用户  下每隔1小时创建一个检查点目录，并把垃圾回收站中的文件移动到该目录下

        201101151200为检查点目录

        手动清空检查点    hadoop fs -expunge

        等到7天后将删除所有检查点目录，如果该参数为0，则该值默认设置为fs.trash.interval的值，会在每次创建检查点时删除比fs.trash.interva更早创建的检查点目录

        设置的值应为    <=fs.trash.interval

        

 

会飞的鹅_
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【HDFS】HDFS中的Trash功能
Badme
11-10 1357
【HDFS】HDFS中的Trash功能
HDFS的回收站Trash以及Checkpoints的配置与使用
每天进步一点点...
09-13 4972
开启HDFS的回收站功能： 首先：执行stop-dfs.sh命令脚本关闭HDFS 只需在namenode节点上的core-site.xml文件中，添加如下两个属性： fs.trash.interval 10080 Number of minutes after which the checkpoint gets deleted. If zero, the trash feature
Hadoop集群垃圾箱配置 | fs.trash.interval
Gamedev
03-03 5188
启用Hadoop集群垃圾箱配置 配置参数： &lt;property&gt; &lt;name&gt;fs.trash.interval&lt;/name&gt; &lt;value&gt;10&lt;/value&gt; &lt;description&gt;检查点被删除后的分钟数。 如果为零，垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。...
fs.trash.interval详解
行路中
04-27 676
回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。临时存储删除的文件：当用户使用命令hdfs dfs -rm删除文件或文件夹时，这些文件并不是立即永久删除，而是被移动到Trash文件夹中。这使得用户有机会在需要时恢复这些文件。恢复误删文件：如果用户不小心删除了重要文件，可以通过Trash文件夹里面的数据恢复。设置删除文件保留时间：可以通过fs.trash.interval的值来这是删除保留时间，超过时间的会被回收线程删除。自定义回收线程频率。
hadoop fs.trash 详解
热门推荐
bitcarmanlee的博客
05-20 1万+
linux系统里，我觉得最大的不方便之一就是没有回收站的概念。由rm -rf引发的血案，估计每个写代码的同学都遇到过。在hadoop或者说hdfs里面，有trash相关的概念，可以使得数据被误删以后，还可以找回来。1.打开trash相关选项hadoop里的trash选项默认是关闭的。所以如果要生效，需要提前将trash选项打开。修改conf里的core-site.xml即可。我们集群的相关配置如下：
HDFS的回收站
qq_25534101的博客
04-25 157
默认情况下，文件直接删除，可通过设置core-site文件，设置文件彻底删除时间 <!--设置回收站的保留时间，单位分钟--> <property> <name>fs.trash.interval</name> <value>1440</value> </property> ...
CDH4.3.0 HDFS 读写性能测试
08-09
描述中的“HDFS 读写性能测试”意味着测试的重点在于衡量在CDH4.3.0环境下，HDFS在读取和写入数据时的效率、吞吐量以及延迟。这种测试对于理解系统在大数据处理工作负载下的表现至关重要，有助于优化集群配置，确保...
14、HDFS 透明加密KMS
05-29
【HDFS 透明加密KMS】是Hadoop分布式文件系统（HDFS）提供的一种安全特性，用于保护存储在HDFS中的数据，确保数据在传输和存储时的安全性。HDFS透明加密通过端到端的方式实现了数据的加密和解密，无需修改用户的应用...
CDH中添加Elasticsearch服务
01-09
此前Elasticsearch我一直是单独搭建的，后来偶然发现可以在Cloudera Manager中添加ES服务,在搭建过程中这篇博客给了我很多帮助 https://www.cnblogs.com/zhangrui153169/p/11447423.html 但存在一些问题,在这里记录...
Java代码实现CDH远程监控所有HDFS节点磁盘空间和自动清除日志
最新发布
06-13
用Java语言结合JSch库，实现在单台机器上远程监控多台服务器上的HDFS状态、磁盘空间，并在必要时自动删除日志文件，以释放空间。 详细教程可以看：https://aigpt.blog.csdn.net/article/details/139625439
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
在CDH5.5.0中，HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是两个核心组件，它们在高可用性（HA）模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余，以确保即使单...
开启回收站配置
weixin_48888366的博客
11-23 312
开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 1.开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。 （3）要求fs.trash.checkpoint.interval <= fs.trash.in
生产调优1 HDFS-核心参数
好好学习天天向上
04-07 1345
文章目录1 HFDS核心参数1.1 NameNode 内存生产配置问题描述hadoop-env.sh中配置1.2 NameNode 心跳并发配置修改hdfs-site.xml配置1.3 开启回收站配置回收站机制开启回收站功能参数说明启动回收站-修改core-site.xml查看回收站恢复回收站数据 1 HFDS核心参数 搭建HFDS集群时必须要参考的参数 1.1 NameNode 内存生产配置 问题描述 1） NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能
HDFD 回收站【Trash】机制
Markble
04-03 1636
HDFS Trashji机制知识总结
HDFS回收站、Trash机制、Trash Checkpoint、快照功能使用、通过Snapshot快照恢复数据、备份数据、HDFS快照的实现
qq_40585384的博客
12-11 1717
回收站的功能给了我们一剂“后悔药”。回收站保存了删除的文件、文件夹、图片、快捷方式等。这些项目将一直保留在回收站中，直到您清空回收站。我们许多误删除的文件就是从它里面找到的。HDFS本身也是一个文件系统，那么就会涉及到文件数据的删除操作。**默认情况下，HDFS中是没有回收站垃圾桶**概念的，删除操作的数据将会被直接删除，没有后悔药。**HDFS snapshot**是HDFS整个文件系统，或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。可以将快照理解为拍照片时的那一瞬间的投影。
hadoop core-site.xml参数fs.trash.interval
那又怎样？的博客
11-13 480
1.官网释义 fs.trash.interval Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If ...
Hadoop生态圈（十五）- HDFS Trash垃圾回收详解
程序园@大Null
01-24 5441
HDFS垃圾回收站，Trash操作详解，垃圾回收详解，删除文件到Trash，删除文件跳过Trash，从Trash中恢复文件，清空Trash
Hadoop 垃圾回收机制原理及其源码分析
zhm1002的博客
11-09 604
一、两个主要的配置参数： fs.trash.interval 默认值为：0（代表删除的数据不进入垃圾桶，直接删除） 单位：分钟 描述：垃圾数据保存的时间 fs.trash.checkpoint.interval 默认值为：0 单位：分钟 描述：多久进行一次垃圾清理和创建检查点的检测，默认值为0，此时如果设置了 fs.trash.interval，则该值就会和 fs.trash.interval 的值保持一致，另外该值只能小于等于 fs.trash.interval 的值。 二、原理介绍：
spark-在windows中连接虚拟机中cdh集群的hdfs和hive
03-16
要在Windows中连接虚拟机中的CDH集群的HDFS和Hive，需要按照以下步骤操作： 1. 确保虚拟机和Windows主机在同一网络中，可以互相访问。 2. 在虚拟机中启动HDFS和Hive服务，并确保它们正常运行。 3. 在Windows主机上安装Hadoop客户端，可以从Apache官网下载。 4. 配置Hadoop客户端，包括core-site.xml、hdfs-site.xml和hive-site.xml等配置文件，确保它们与虚拟机中的配置一致。 5. 在Windows主机上启动Hadoop客户端，并使用hdfs命令和hive命令连接到虚拟机中的HDFS和Hive服务。 6. 在Hadoop客户端中可以执行各种HDFS和Hive操作，如上传文件到HDFS、创建Hive表等。 希望以上步骤能够帮助您成功连接虚拟机中的CDH集群的HDFS和Hive。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值