awk算术运算一例：统计hdfs上某段时间内的文件大小

最新推荐文章于 2024-04-18 03:23:45 发布
最新推荐文章于 2024-04-18 03:23:45 发布
阅读量1.8k 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunmeng_007/article/details/9768083
版权
本文介绍了如何使用awk和Hadoop命令行工具统计HDFS目录中特定日期（如2011-04-24）的文件大小，并将总大小换算为GB。此外，还提供了一个shell脚本来计算指定日期范围（如20110420至20110424）内所有文件的总大小，并解决shell不支持浮点数运算的问题。最后讨论了在shell脚本中如何处理局部和全局变量。
摘要由CSDN通过智能技术生成

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB： 
$HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24*  |awk '{sum += $1}END{print sum}'  |awk '{total=$1;base=1024*1024*1024;print total/base}'  
  如果要统计20号到24号所有文件大小的总和呢？
#!/bin/bash 
# 
DIR=/log/tmp/cd 
 

最低0.47元/天 解锁文章
sunmeng_Alex
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[Linux]结合awk删除hdfs指定日期前的数据
个人技术博客
08-11 6597
结合awk删除hdfs指定日期前的数据
统计某个时间段的归档日志大小
crcz16618的博客
04-14 266
通过v$archived_log视图 V$ARCHIVED_LOG displays archived log information from the control file, including archive l...
使用HDFS fsck api在页面上快速查找文件
jzy3711的博客
12-11 1万+
目的因业务需求需要查找hfds上不合规的文件 因无法登陆客户的服务器，但提供了vpn 可以访问hdfs50070端口 使用fsck api即可 访问url : http://1x.x.x.x:50070/fsck?ugi=hadoop&path=/hotyuqi/hivePublicOpinionList&files=1 ugi后面跟的是参数，path是要查询的路径，fil...
hadoop集群搭建完整教程jdk，Linux awk命令详解
最新发布
2401_84408058的博客
04-18 740
在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！**如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）
批处理统计文件夹内的所有文件的数量和总大小的bat
09-21
### 批处理统计文件夹内的所有文件的数量和总大小的bat #### 背景与需求分析 在日常计算机使用过程中，我们经常会遇到磁盘空间不足的问题，尤其是当磁盘空间变化异常时（如文中所述的磁盘空间无明显原因减少后又...
awk统计文件中某关键词出现次数的命令
09-15
### awk统计文件中某关键词出现次数的命令 在日常工作中，我们经常需要处理文本文件，尤其是在进行数据分析或日志分析时。此时，掌握如何利用工具快速有效地统计特定关键词的出现次数变得尤为重要。本文将详细介绍...
Linux awk将文件某列按照逗号分隔的例子
09-15
在本例中，我们将探讨如何使用awk将文件中的某列数据按逗号进行分隔，这对于处理数据列表或者在SQL查询中构建IN语句非常有用。 首先，让我们考虑一个场景：你需要从数据库中查询特定用户购买的商品ID（product_id）...
Android操作系统统计某一个APP运行一段时间的cpu占用率
08-03
3. sh getCpu.sh <packagename> 会在/storage/emulated/0/下生成getCpu文件，文件内容是packagename每秒CPU使用率。ls 4. 等到放电周期结束后 执行 cat getCpu|awk '{sum += $1} END {printf "NR = %d,Average = %.3...
linux中 hdfs结合awk删除某个日期前的文件
weixin_30770495的博客
10-11 831
首先可以查看hdfs文件， hadoop fs -ls /user/yankang02 结合日期是第六个属性，那么awk则选择$6 执行后得到 hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6<"days_ago"){p...
linux定时删除hdfs的文件内容,linux中 hdfs结合awk删除某个日期前的文件
weixin_36317800的博客
05-10 192
首先可以查看hdfs文件，hadoop fs -ls /user/yankang02结合日期是第六个属性，那么awk则选择$6执行后得到hadoop fs -ls /user/yankang02 | awk 'BEGIN{ days_ago=strftime("%F", systime()-30*24*3600) }{ if($6", $8} }'只得到8-8之前的文件再根据文件目录遍历去删除所有...
计算目录下某个日期文件的总大小
喝醉酒的小白
04-04 2076
查到每个文件大小 ll | grep "Feb 11" | cut -d " " -f 5 > sum.txt 去掉空行 sed '/^[[:blank:]]*$/d' sum.txt > sum.txt1 计算大小 #!/bin/sh while read line do #echo $line num=`expr $num + $line` #echo $sum done <$sum.txt1 echo $num 计算除法 #!/
AWK详解 什么是AWK
Yasin Lee
06-28 1402
<br />a w k是一种程序语言，对文档资料的处理具有很强的功能。awk 名称是由它三个最初设计<br /> 者的姓氏的第一个字母而命名的： Alfred V. Aho、Peter J. We i n b e rg e r、Brian W. Kernighan。<br /> a w k最初在1 9 7 7年完成。1 9 8 5年发表了一个新版本的a w k，它的功能比旧版本增强了不少。a w k<br /> 能够用很短的程序对文档里的资料做修改、比 较、提取、打印等处理。如果使用C 或P
hadoop查看文件大小(hdfs hive hbase)
后知后觉的it路
10-28 6909
      可以查看 hdfs  hive  hbase文件存储大小 hadoop fs -count  或者 hdfs dfs -count /51JOB   [root@chinadaas01 ~]# hadoop fs -count  /hbase1/zzjg_detail 文件夹数 文件数  这个目录下的文件bytes       查看文件夹下 各个目录的总大...
linux下使用awk命令按时间段筛选日志
weixin_33850015的博客
10-19 6916
需求 很多时候我们需要按照时间段来进行日志的分析，比如说查看上午的，或者某月某日的的具体日志，就不能简单实用tail -f或者head -n命令了。这个时候我们需要借用awk。 命令 zcat com.log20160529.gz | grep 'dianping_reply.log'| awk '{split($4,array,"[")...
awk if比较大小
SeaSky_Steven的博客
06-03 9994
原文：https://blog.csdn.net/xuduorui/article/details/81322115 awk if 使用方法 例如筛选tcp中接受或发送的有堆积的链接情况： $ netstat -tanp | awk '{if ($2 > 0 || $3 > 0) print $0}' Active Internet connections (servers a...
shell中比较时间大小的方法
热门推荐
zhangbinu
08-27 2万+
在shell脚本中难免要通过年月日来进行条件判断 一般是通过将其转为时间戳来进行比较 #!/bin/bash date1="180609" date2="180610" day=$(date "+%Y-%m-%d" -d "$date1 0 day") echo $day t1=`date -d "$date1" +%s` t2=`date -d "$date2" +%s` e
linux命令判断文件个数awk,Linux命令之awk：运算与判断（三）
06-03
您的问题是关于Linux命令awk判断文件个数的使用吗？如果是的话，awk命令可以使用NR变量来统计文件的行数，因此可以利用这个特性来判断文件个数。例如，假设我们有两个文件file1和file2，可以使用以下命令来判断它们的行数和文件个数： ``` awk 'END {print NR}' file1 file2 # 输出两个文件的行数之和 awk 'END {print ARGC-1}' file1 file2 # 输出文件个数 ``` 其中，END表示在处理完所有行之后执行的操作，NR表示当前正在处理的行号，ARGC表示命令行参数的个数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值