Shell实现定期删除HDFS下的过期文件

最新推荐文章于 2024-08-08 16:36:06 发布
最新推荐文章于 2024-08-08 16:36:06 发布
阅读量4.8k 收藏 3
点赞数
分类专栏： 杂七杂八 文章标签： shell hadoop 脚本 编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Daverain/article/details/81016729
版权
本文介绍如何利用Shell脚本实现定期检查并删除HDFS中超过一定期限的文件，通过比较文件的最后修改日期与当前时间，对不再需要的文件进行清理。
摘要由CSDN通过智能技术生成

代码思路：获取文件夹下的文件最后改动日期，与当前时间戳对比，删除不满足条件的所有文件。

#!/bin/bash
source ~/.bashrc



removeOutDate(){
hadoop fs -ls afs://xxxxxxxxxxxx > temp.txt
today_timestamp=$(date -d "$(date +"%Y-%m-%d %H:%M")" +%s) 
cat temp.txt | while read quanxian temp user group size day hour filepath
do
    file_time="$day $hour"
    file_timestamp=$(date -d "$file
最低0.47元/天 解锁文章
Daverain
关注
专栏目录
Python 删除HDFS过期文件
09-20 1643
一、清理本地文件 import datetime from utils import confUtils, hadoop import os import shutil import time import sys def cleandir(path, duration): time_now = time.time() for root, dirs, files in os...
shell定期删除hdfs上的过期文件
weixin_45682234的博客
01-29 563
#!/bin/bash export JAVA_HOME=/opt/jdk #HADOOP所在的bin目录 HADOOP_BIN_PATH=/opt/hadoop/bin #当前时间戳 today_timestamp=(date−d"(date -d "(date−d"(date +"%Y-%m-%d %H:%M")" +%s) #Func: 删除指定时间之前的过期，这里设置的是1天前 removeOutDate(){ HADOOPBINPATH/hdfsdfs−ls/data/∗>temp.txtc
HDFS常用操作命令（附详细演示截图）
最新发布
weixin_43322583的博客
08-08 481
hdfs操作，基础操作，附带配详演示截图。
shell 脚本删除过期文件
羽殇醉月-专栏
08-25 1267
find $file_dir -type f -mtime +天数 -exec rm -f {} \;删除 $file_dir 目录下的普通文件中，最后修改时间距离现在超过X天数的文件 如：find /root/backup -type f -mtime +30 -exec rm -f {} \;各个参数代表的意义可以网上查. -mtime +30是最后修改时间超过 30天，-mtime -3
删除过期文件的shell脚本(linux),删除过期文件的shell脚本（linux）
weixin_33188789的博客
05-09 290
在linux下如何删除过期的文件crontab -e 中添加0 0 * * *find/home/jms-typef-mtime+2-execrm-f{}\/home/jms是查找文件的路径。-type f是指定文件类型为普通文件。-mtime +2是指修改时间距离现在2天的文件。-2是指修改时间距离现在不足2天的文件-exec rm -f指执行删除匹配出来的文件，并且不提...
定期删除Hdfs文件脚本
victorzzzz的专栏
10-25 289
#!/bin/bash usage="$0 Usage: xx [days]" if [ ! "$1" ] then echo $usage exit 1 fi now=$(date +%s) ./hadoop fs -ls -r xxxx路径 | while read f; do #取文件串中的日期信息 dir_date=`echo $f | awk '{print $6}'` difference=$(( ( $now - $(date -d "$dir_date" +%s) ...
shell 删除了hdfs 文件_HDFS-Shell 文件操作
weixin_35763513的博客
01-17 413
一、操作 HDFS 上的文件有两个命令可以用hdfs dfs：只能操作 HDFS 上的文件Usage: hdfs [--config confdir] [--loglevel loglevel] COMMANDwhere COMMAND is one of:dfs run a filesystem command on the file systems suppo...
shell脚本案例(二)：HDFS文件定期清理
Tiny Home
06-27 4625
鄙人最近刚从运维转向运维开发，接到一个任务。当前环境的HDFS的空间使用率，即将达到95%，手动清理比较繁琐，需要写个脚本定期清理下最早5天的日志量。 解决思路 设定使用率阈值 当达到阈值，查找最早5天的日志 将查找到的日志文件删除 问题 Linux shell可以用find通过时间来查找文件，但hdfs shell 的find参数似乎不能用时间来查找。因此需要先将dfs l...
Hadoop HDFS篇
2301_77331760的博客
04-01 665
HDFS 基础
解决hive报hdfs exceeded directory item limit错误
05-08
为了避免手动清理，可以编写一个shell脚本来定期删除指定路径下超过一定天数的旧目录。下面是一个示例脚本，它接受两个参数：路径和天数，然后删除该路径下10天前创建的目录，每次删除5000个目录： ```bash #!/...
自动删除过期文件
07-22
C# VS2008 选择文件夹后可以自动监控，并删除过期文件，可设置删除几天前的任何类型的文件，有详细的源码解释
【Hadoop】HDFS - 创建文件流程详解
浩然之气,兼容并蓄 http://blog.csdn.net/gsky1986
05-08 3696
1.本文目的通过解析客户端创建文件流程，认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode（NN）：HDFS系统核心组件，负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式，一般的HDFS系统就只有1个NameNode，当然这样是存在单点故障隐患的。NN管理两个核心的表：文件到块序列的映射、块到机器序列的
shell案例系列4-清理过期文件
只是甲的博客
04-20 875
文章目录一. 需求二. 解决方案 一. 需求 公司的mysql数据库，除了物理备份外 ，一些核心的表，例如订单表、用户表以及一些经常变动的配置表，单独做逻辑备份。 然后需要一个定期清理过期文件的脚本 二. 解决方案 这边写了一个函数，每天删除前留一个日志记录 #!/bin/bash #Author : 只是甲 at 20201123 #Remarks : 清理过期的备份文件 del_date=`date +%Y%m%d` log_dir=/home/mysql/shell_s
linux中 hdfs结合awk删除某个日期前的文件
weixin_30770495的博客
10-11 843
首先可以查看hdfs文件， hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6 执行后得到 hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6<"days_ago"){p...
linux 删除hdfs文件夹,linux中 hdfs结合awk删除某个日期前的文件
weixin_31742467的博客
05-05 408
首先可以查看hdfs文件，hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6执行后得到hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6 只得到8-8之前的文件再根据文件目录遍历去删除所有的文件＃ sh...
上传日志到HDFS，备份，定期删除
做一个好人
08-21 696
大数据纯新手一枚，请多指教
shell awk实现删除hdfs上某日期之前的文件
Captain的专栏
06-30 54
hadoop fs -ls /user/zhang 查看hdfs上的文件，awk $6是日期， $8是文件路径 #shell脚本 data=$(hadoop fs -ls /user/zhang/data | awk '{print $8}') data_arr=(${data// / }) for sub_file in ${data_arr[@]} do old_files=...
Shell 脚本批量删除HDFS N天前文件
qq_41142053的博客
05-24 4100
按照时间批量删除HDFS 文件
hadoop在shell环境下重命名hdfs上传的文件
04-04
在shell环境下重命名hdfs上传的文件，可以使用hadoop的命令行工具hdfs dfs -mv，具体操作如下： 1. 打开终端并登录到hadoop的节点上。 2. 输入以下命令，将原文件名oldfile重命名为newfile： ``` hdfs dfs -mv ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值