linux 删除几天前数据,[Linux]结合awk删除hdfs指定日期前的数据

最新推荐文章于 2024-07-07 18:03:17 发布
最新推荐文章于 2024-07-07 18:03:17 发布
阅读量217 收藏
点赞数
文章标签： linux 删除几天前数据

业务背景

约定五天前的HDFS数据为过期版本数据，写一个脚本自动删除过期版本数据

$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data

Found 9 items

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-01

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-02

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-03

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-04

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-05

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-06

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-07

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-08

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-09

脚本实现

# ---------------------------------------------------------

#

# 删除历史版本(五天前的为过期版本数据)

#

# ---------------------------------------------------------

old_version=$(hadoop fs -ls /user/pms/workspace/ouyangyewei/data | awk 'BEGIN{ five_days_ago=strftime("%F", systime()-5*24*3600) }{ split($8,arr,"/"); if(arr[7]

执行以后

$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data

Found 4 items

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-06

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-07

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-08

drwxr-xr-x - pms pms 0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-09

Cross Maker
关注
Linux （三）
kekekeliang的博客
10-06 600
1、head查看文档的前几行内容head -n 数字 文件 // -n 表示显示前几行的内容2、tail查看文档（日志）的后几行内容tail -n 数字 文件实时监控文件 web.log3、grep搜索存在 关键字 的行搜索 /etc/passwd 文件中出现 bash 的行-n显示行号-i忽略大小写 grep -i BASH /etc/passwd-v。
[数仓]一、离线数仓（日志数据采集）
weixin_44428807的博客
07-06 1499
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
Linux 自动删除几天前的旧数据
缘来侍你的博客
04-22 388
语句写法： find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 例1： find /u01/backups -mtime +10 -name "*.*" -exec rm -rf {} \; 将/u01/backups目录下所有10天前带"."的文件删除 "*.sql"就是删除后缀为sql的文件 find：linux的查找命令，用户查找指定条件的文件 /u01/backups：想要进行清理的任意目录 -mtime：标准语句写法 ＋10：查找10天前的
hdfs删除几天之前的数据
weixin_30553837的博客
01-04 1746
删除几天之前的数据 #!/bin/bash array=( /CC/aaa /CC/bbb /CC/ccc ) for i in ${array[@]};do hdfs dfs -ls $i | awk 'BEGIN{ one_days_ago=strftime("%F", systime()-2*24*3600) }{ split($6,arr," "); if(arr[1]...
linux删除指定时间前的文件
勿在浮沙筑高
02-20 2325
在Shell中删除指定时间前的文件，可以使用find命令结合-mtime或-mmin选项来查找并删除文件。# 删除30天之前的文件# 删除60分钟之前的文件是要搜索的目录路径。-mtime +30表示查找修改时间在30天之前的文件。类似地，-mmin +60表示查找修改时间在60分钟之前的文件。-type f表示只查找普通文件，而不包括目录或其他特殊文件。f为文件，d为文件夹。是find命令中用来执行特定操作的部分。在这里，-exec参数表示执行后面指定的命令，rm是要执行的命令，{}代表。
根据时间删除hdfs文件
qq_18239343的博客
03-14 2657
删除hdfs指定目录三天前的文件 hadoop fs -rm -r /meteobasicbd/null/*$(date -d -3day +%Y%m%d%H)*
linux命令删除指定天数之前的文件
corner2030的博客
10-03 8055
linux命令删除指定天数之前的文件
[数仓]二、离线数仓（业务数据采集）
最新发布
weixin_44428807的博客
07-07 1058
电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)
热门推荐
FunnyPrince_的博客
10-20 1万+
目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模⭐️2.3 维度表和事实表⭐️2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.5 数据仓库建模⭐️????2.5.1 ODS层2.5.2 DIM层和DWD层2.5.3 DWS层与DWT层2.5.4
数据仓库之电商数仓-- 1、用户行为数据采集
FunnyPrince_的博客
10-01 3540
加油干 hhhhhh
Shell 脚本批量删除HDFS N天前文件
qq_41142053的博客
05-24 4111
按照时间批量删除HDFS 文件
Linux中按时间批量删除N天前文件
时代各有不同，青春一脉相承。
10-10 2974
根据时间删除这个目录下的文件，/tmp，清理掉30天之前的无效数据。 可以使用下面一条命令去完成： find /tmp -mtime +30 -name "*.*" -exec rm -Rf {} \; 这个是根据时间删除。 注意：删除文件的过程中可能会遇到问题如下所示：find: missing argument to ‘-exec’；解决方法：在{}和\之间必须要有空格，否则会报这个的错。
大数据运维日记之清理磁盘
Maynor的博客
08-16 2696
在平时删除HDFS文件时，可以使用命令：hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently，这样的话文件就直接删除了，不会放在回收站（注：此种删除为永久删除，无法恢复数据），用这个命令删除HDFS数据的话，后期就无需清空HDFS回收站。对于很多CDH使用者来说，随着时间的推移，磁盘空间会越来越少，除了一部分数据占用外，其他的一部分空间不知道保存着什么数据，无法清理，本博主今天就分享一下定期清理CDH集群指南。...
shell脚本实现删除hdfs下n天前的数据
Antg的博客
03-17 2408
数据打满，shell实现删除hdfs下n天前的数据
[Linux]结合awk删除hdfs指定日期前的数据
个人技术博客
08-11 6607
结合awk删除hdfs指定日期前的数据
hdfs之定期清理文件
杨羊不是羊的博客
09-14 895
#!/bin/bash #给hadoop命令赋予advert权限 export HADOOP_USER_NAME=advert #HADOOP路径(通过echo $PATH找到)，crontab内如果不指定，会提示找不到hadoop命令 HADOOP="/usr/local/share/hadoop/bin/hadoop" #将待检测的目录列表写入字典中 #目录不应包含父子层级关系 declare -A PATH_DICT PATH_DICT=( ["hdfs://test1******"]=90
linux命令行删除N天前的数据的命令
weixin_30381317的博客
07-20 589
命令： find . -mtime +N -type f -name "*.log.*" -exec rm -f {} \; 简单解释: find .查询 ; -mtime 规定时间的一个参数，固定格式; +N ： N是指N天前; -type f ：类型文件; -...
hdfs清理笔记
qq_42422698的博客
04-22 1129
1 fs.trash.interval vim core-site.xml <property> <name>fs.trash.interval</name> <value>360</value> </property> <property> <name>fs.trash.checkpoint.interval</name>
AWK入门：Linux Red Hat下数据处理实战
AWK的特点是通过模式匹配和动作执行来处理数据，它的基本结构由模式（Pattern）和动作（Action）组成，类似于条件语句和执行语句的结合。 在AWK中，文本文件被视为流，每行数据被视为一个记录。例如，假设有一个名...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值