[Linux]结合awk删除hdfs指定日期前的数据

最新推荐文章于 2022-09-11 16:07:53 发布
最新推荐文章于 2022-09-11 16:07:53 发布
阅读量6.5k 收藏 5
点赞数 1
分类专栏： [Linux] Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeweiouyang/article/details/47426823
版权

业务背景

约定五天前的HDFS数据为过期版本数据，写一个脚本自动删除过期版本数据

$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data
Found 9 items
drwxr-xr-x   - pms pms          0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-01
drwxr-xr-x   - pms pms          0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-02
drwxr-xr-x   - pms pms          0 2015-08-11 17:03 /us
最低0.47元/天 解锁文章
yeweiouyang
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux 中awk 提取包含某个关键字的段落
01-20
准备数据 Finalizer #3 daemon prio=8 os_prio=0 tid=0x00007fb2dc1aa800 nid=0x63f6 in Object.wait() [0x00007fb2be61f000] java.lang.Thread.State: WAITING (on object monitor) at java.lang.Object.wait...
linux之awk命令的用法
09-04
`awk`是Linux环境中强大的文本处理工具，尤其适用于处理结构化的数据文件。它通过分析文本文件中的每一行，根据指定的规则对数据进行操作。在`awk`中，一行被视为一个记录，记录由字段组成，字段之间默认由空格或...
linux定时删除hdfs的文件内容,linux中 hdfs结合awk删除某个日期前的文件
weixin_36317800的博客
05-10 191
首先可以查看hdfs文件，hadoop fs -ls /user/yankang02结合日期是第六个属性，那么awk则选择$6执行后得到hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6", $8} }'只得到8-8之前的文件再根据文件目录遍历去删除所有...
HDFS常用命令
m0_56602092的博客
09-05 4856
正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）查看所有处于running状态的节点。查看指定目录下所有文件的大小。查看目录下每一个文件夹的大小。根据应用id强行终止指定应用。查看指定目录下的文件。直接查看gz文件内容。
hdfs 批量删除某日期文件
qq_40771567的博客
03-09 3700
今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。 1、首先将非本日日期的文件输出到txt hdfs dfs -ls hdfs://warehouse/profile/ | grep -v 2022-03-09 >./2.txt 2、利用awk编写删除脚本 cat 2.txt | awk -F " " '{print "hadoop fs -rm -r " $8}' > ./1.sh 3、运行脚本 /bin/bash 1.sh ...
练习HDFS的访问，创建目录，删除目录--超详细
qq_58476985的博客
09-11 1万+
2、进入到sbin目录下输入：start-dfs.sh，重启一下。4、创建的多个目录，在虚拟机上查看：hdfs dfs -ls /之后再输入hdfs dfs -ls /，没有出现拒绝连接即可。hdfs dfs -mkdir /(文件名字）
linux中 hdfs结合awk删除某个日期前的文件
weixin_30770495的博客
10-11 828
首先可以查看hdfs文件， hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6 执行后得到 hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6<"days_ago"){p...
Linux实战awk详解
12-18
标签"linux"表明这个教程不仅适用于awk本身，还涵盖了在Linux环境中使用awk的实际场景，比如结合管道符（|）和其他Linux命令一起使用，以实现更强大的文本处理能力。 压缩包中的三个PDF文件——"l-awk2-pdf.pdf"、...
linux-awk-完全手册范本.doc
最新发布
12-03
"Linux awk 完全手册范本" awk 是一种功能强大的样式扫描和处理工具，能够完成 grep 和 sed 所能完成的全部工作，并且具有样式装入、流控制、数学运算符、进程控制语句、置的变量和函数等功能。awk 的优点是简单、...
linux-awklinux-awk
08-10
Awk 可以与其他命令结合使用，利用重定向和管道实现更复杂的数据处理流程。 ##### 14.5 条件语句 Awk 支持 `if`, `else if`, `else` 语句，用于基于条件执行不同的代码块。 ```awk if ($1 == "root") { print ...
按日期删除HDFS数据
hua840812的专栏
04-18 3142
转自：http://blog.csdn.net/eryk86/article/details/7472346 import java.io.IOException;   import java.text.SimpleDateFormat;   import java.util.Calendar;   import java.util.HashSet;   import jav
hdfs删除几天之前的数据
weixin_30553837的博客
01-04 1663
删除几天之前的数据 #!/bin/bash array=( /CC/aaa /CC/bbb /CC/ccc ) for i in ${array[@]};do hdfs dfs -ls $i | awk 'BEGIN{ one_days_ago=strftime("%F", systime()-2*24*3600) }{ split($6,arr," "); if(arr[1]...
大量删除hdfs历史文件导致全部DataNode心跳汇报超时为死亡状态问题解决
JacksonKing的专栏
08-20 3245
目录 背景： 问题产生过程： 问题现象： 解决过程: 相关日志： 其他方案： 总结： 背景： 由于测试环境的磁盘满了，导致多个NodeManager出现不健康状态，查看了下，基本都是data空间满导致，不是删除日志文件等就能很快解决的，只能删除一些历史没有用的数据。于是从大文件列表中，找出2018年的spark作业的历史中间文件并彻底删除(跳过回收站) /usr/loc...
linux命令行删除N天前的数据的命令
weixin_30381317的博客
07-20 585
命令： find . -mtime +N -type f -name "*.log.*" -exec rm -f {} \; 简单解释: find .查询 ; -mtime 规定时间的一个参数，固定格式; +N ： N是指N天前; -type f ：类型文件; -...
hadoop删除文件或文件夹
Yhappy727的博客
09-02 4591
直接删除文件： hdfs dfs –rm [文件地址] eg：hdfs dfs –rm/user/spark/applicationHistory/local-1564737954168 删除文件后文件会存放至 /user/hdfs/.Trash中，hdfs的回收站，可设置回收站清理时间 使用 hdfs dfs -rm -skipTrash[文件地址] 跳过回收站删除文件 直接删...
hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
weixin_34319640的博客
10-26 456
前言 这段时间在用hdfs，由于要处理的文件比较多，要及时产出旧文件，但是发现hdfs的blocks数一直在上涨，经分析是hdfs写入的速度较快，而block回收较慢，所以分心了一下hadoop删文件的流程，并做了调优，希望对遇到此类问题的程序猿们有帮助。 正文 经分析与查看源码发现，hdfs删除文件的流程是这样的： （1）java程序中的DFSClient调用delete函数，删...
Shell遍历hadoop目录的批量操作
热门推荐
小工匠
01-05 1万+
需求背景每天产生3T（约2.5W个gz压缩文件）的DPI日志文件，因存储等各种问题，需要尽可能的节约存储。日志文件中有26个字段，根据业务需求需要提取6个字段。解决方法 通过shell脚本 通过MR程序（推荐，本篇不做论述） 结论： 经验证得出的结论shell脚本大约5~10S处理一个文件，比较慢，对于这样大量且分散的情况，不推荐，但可以提供一个思路。 根据实际情况处理步骤
linux 删除hdfs文件夹,linux中 hdfs结合awk删除某个日期前的文件
weixin_31742467的博客
05-05 398
首先可以查看hdfs文件，hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6执行后得到hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6 只得到8-8之前的文件再根据文件目录遍历去删除所有的文件＃ sh...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值