自动定时清理指定hdfs目录下指定的文件脚本

最新推荐文章于 2022-05-24 18:03:12 发布
最新推荐文章于 2022-05-24 18:03:12 发布
阅读量1.6k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40685200/article/details/121649694
版权

HDFS 日志清理 脚本 定时任务 文件系统
关键词由CSDN通过智能技术生成

#####################
## 脚本说明：定时清理指定hdfs目录下，当前时间几天前的文件
## 清理 时间：请调整 delayDate  变量中 "10" 数字
## 清理 路径 ：请调整 arrlogFile 变量中的值
#####################
#!/bin/bash
export HADOOP_USER_NAME=hdfs #设置操作hdfs代理用户
#======================定义全局变量 begin===========================
#日志保留天数
delayDate=10 
#清理日志在hdfs的目录 支持多个目录扫描,目录地址以""包含,多个路径以空格隔开.
arrlogFile=("/tmp/hive")
outPath=/tmp/hive/hive 
#echo ${arrlogFile[0]}
now=$(date +%s) #获取当前运行时间
#======================定义全局变量 end=================

最低0.47元/天 解锁文章
自动化HDFS数据清理的终极方法（附代码）
u013289115的博客
04-24 5348
一、背景二、原理fsimage：hive元数据三、使用方法本地idea运行：step1：准备工作step2:解析fsimage文件step3:清理数据yarn运行：step1：准备工作step2:解析fsimage文件step3:清理数据四、总结 代码地址：https://github.com/lijufeng2016/data-manager 一、背景 hdfs集群从出生到成长，经历了各种各样...
定期删除Hdfs文件脚本
victorzzzz的专栏
10-25 335
#!/bin/bash usage="$0 Usage: xx [days]" if [ ! "$1" ] then echo $usage exit 1 fi now=$(date +%s) ./hadoop fs -ls -r xxxx路径 | while read f; do #取文件串中的日期信息 dir_date=`echo $f | awk '{print $6}'` difference=$(( ( $now - $(date -d "$dir_date" +%s) ...
Shell 脚本批量删除HDFS N天前文件
qq_41142053的博客
05-24 4370
按照时间批量删除HDFS 文件
hdfs 批量删除某日期文件
qq_40771567的博客
03-09 3886
今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。 1、首先将非本日日期的文件输出到txt hdfs dfs -ls hdfs://warehouse/profile/ | grep -v 2022-03-09 >./2.txt 2、利用awk编写删除脚本 cat 2.txt | awk -F " " '{print "hadoop fs -rm -r " $8}' > ./1.sh 3、运行脚本 /bin/bash 1.sh ...
hadoop自动清除日志文件的配置方法
摩西莫西
01-19 841
hadoop集群跑了很多的任务后 在hadoop.log.dir目录下会产生大量的日志文件。 可以通过配置core-site.xml文件让集群自动清除日志文件： <property>   <name>hadoop.logfile.size</name>   <value>10000000</value>   <...
shell脚本案例(二)：HDFS文件定期清理
Tiny Home
06-27 4726
鄙人最近刚从运维转向运维开发，接到一个任务。当前环境的HDFS的空间使用率，即将达到95%，手动清理比较繁琐，需要写个脚本定期清理下最早5天的日志量。 解决思路 设定使用率阈值 当达到阈值，查找最早5天的日志 将查找到的日志文件删除 问题 Linux shell可以用find通过时间来查找文件，但hdfs shell 的find参数似乎不能用时间来查找。因此需要先将dfs l...
Shell实现定期删除HDFS下的过期文件
Daverain的博客
07-12 4963
代码思路：获取文件夹下的文件最后改动日期，与当前时间戳对比，删除不满足条件的所有文件。 #!/bin/bash source ~/.bashrc removeOutDate(){ hadoop fs -ls afs://xxxxxxxxxxxx > temp.txt today_timestamp=$(date -d "$(date +"%Y-%m-%d %H:%M")" +%s) ...
shell脚本删除hive外部表用户指定多分区数据(删除hdfs上元数据)
hetry_liang的博客
04-02 1146
1、首先我们创建一个多分区的外部表:tmp.clear_external_mulpartitiondata_test2,其中分区字段为year,month,day;并向该表中插入数据。 -- 创建源数据表tmp.cleardata_test2，并手动插入数据 drop table if exists tmp.cleardata_test2; create table if not exists tmp.cleardata_test2( stuid string, stuname string,
HDFS之删除数据
qq_35488275的博客
03-27 2364
import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class FSdelete { publ
HDFS 冗余数据块（Block）的自动删除
LoganMaaa的博客
08-02 1750
本文参考： https://www.jianshu.com/p/4e4316ae0e17 https://www.jianshu.com/p/5ef70a66019a     在日常维护Hadoop集群的过程中，发现一种情况（Block 默认3）：某节点由于网络故障或者DataNode进程的死亡，被NameNode判定为死亡（此时位2），HDFS马上自动开始数据块的容错拷贝（从2到3）。当该...
hadoop配置自动清理日志
热门推荐
张伯毅的专栏
01-28 1万+
hadoop在运行时间长了之后，日志文件，会占用很大，极端情况，会导致硬盘满。影响业务的正常运行。 解决方式：   步骤一、修改core-site.xml配置文件   <property>     <name>hadoop.logfile.size</name>     <value>10000000</va...
hdfs删除数据
younglishun的博客
05-27 1873
删除文件并放入回收站： hdfs dfs -rm -f /path 删除文件不放入回收站： hdfs dfs -rm -f -skipTrash /path 清空回收站： hdfs dfs -expunge (执行完之后会打一个checkpoint，并不会立即执行，稍后会执行清空回收站操作) ...
linux中 hdfs结合awk删除某个日期前的文件
weixin_30770495的博客
10-11 885
首先可以查看hdfs文件， hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6 执行后得到 hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6<"days_ago"){p...
linux 删除hdfs文件夹,linux中 hdfs结合awk删除某个日期前的文件
weixin_31742467的博客
05-05 449
首先可以查看hdfs文件，hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6执行后得到hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6 只得到8-8之前的文件再根据文件目录遍历去删除所有的文件＃ sh...
shell awk实现删除hdfs上某日期之前的文件
Captain的专栏
06-30 96
hadoop fs -ls /user/zhang 查看hdfs上的文件，awk $6是日期， $8是文件路径 #shell脚本 data=$(hadoop fs -ls /user/zhang/data | awk '{print $8}') data_arr=(${data// / }) for sub_file in ${data_arr[@]} do old_files=...
定时定期删除hdfs上某个目录下的过期文件--脚本
东城庞太师
09-02 1902
#!/bin/bash source ~/.bashrc # HADOOP所在的bin目录 HADOOP_BIN_PATH=/home/hadoop/hadoop-2.3.0-cdh5.0.0/bin #待检测的HDFS目录 data1_file=/user/gas/data1data2_file=/user/gas/data2#将待检测的目录(可以为多个)加载至数组中array_check=($data1_file $data2_file) # 当前时间戳 today_timestamp=$(d...
Python 删除HDFS过期文件
09-20 1711
一、清理本地文件 import datetime from utils import confUtils, hadoop import os import shutil import time import sys def cleandir(path, duration): time_now = time.time() for root, dirs, files in os...
跟我一起学【Hdfs】之——运维篇 删除过期文件
SunWuKong_Hadoop的博客
09-06 780
查看数据步骤 ： 按照时间倒序： hdfs dfs -ls /tmp | sort -k6,7 查看非文件夹： hdfs dfs -ls /tmp ls -l |grep -vn "^d" 查看文件夹： hdfs dfs -ls /tmp ls -l |grep "^d" 删除文件： hadoop fs -rm -f /tmp/ffc341534d42473fbc9c817f4db...
HDFS上磁盘数据清理
xubc的大数据笔记
04-14 5483
HDFS数据清理一些办法： datanode数据做reblance 清理临时目录、日志目录文件 全量分区表历史分区清理 使用lzo，orc格式进行数据压缩 清理或者归档历史冷数据 增加datanode横向扩容 附上自动清理目录下过期的文件 #!/bin/bash source ~/.bash_profile # 将待检测的目录(可以为多个)加载至数组中 yarn_log_di...
HDFS清除历史文件
最新发布
02-09
### 如何在HDFS中清除历史文件 为了管理分布式文件系统的存储资源，在Hadoop分布式文件系统(HDFS)中定期清理不再需要的历史文件是一项重要任务。虽然提供的参考资料未直接涉及此主题，但可以基于常规实践提供指导。 #### 使用命令行工具删除文件 最直接的方式是利用`hdfs dfs -rm`命令来移除指定路径下的文件： ```bash hdfs dfs -rm /path/to/historical/files/* ``` 对于目录及其子目录中的所有内容，则应采用递归选项: ```bash hdfs dfs -rm -r /path/to/directory/ ``` 需要注意的是，执行上述操作前应当确认目标位置以及备份关键数据以防误删[^1]。 #### 自动化脚本与调度作业 针对频繁或周期性的清理需求，编写Shell脚本来自动化这一过程会更加高效。下面是一个简单的例子，该脚本每周运行一次以删除超过一个月的日志文件： ```bash #!/bin/bash # 清理过期日志文件 FIND="/usr/bin/find" LOG_DIR="/user/logs/" EXPIRE_DAYS=30 $FIND $LOG_DIR -type f -mtime +${EXPIRE_DAYS} -exec hdfs dfs -rm {} \; ``` 将此类脚本配置为Cron Job或其他定时任务框架的一部分，从而确保自动执行。 #### 数据生命周期管理策略 除了手动干预外，还可以考虑实施更复杂的数据生命周期管理(DLM)政策。这可能涉及到设置特定时间点之后自动迁移至低成本存储介质或是触发压缩流程减少占用空间等措施。这些高级特性通常依赖于企业级发行版所提供的额外功能支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值