统计指定路径hive表存量

最新推荐文章于 2024-08-16 16:13:09 发布

qq_43193797

最新推荐文章于 2024-08-16 16:13:09 发布

阅读量159

点赞数

分类专栏： Hive shell编程工作

本文链接：https://blog.csdn.net/qq_43193797/article/details/109994165

版权

Hive 同时被 2 个专栏收录

73 篇文章 2 订阅

订阅专栏

shell编程工作

13 篇文章 0 订阅

订阅专栏

etldate=(20201111)

etlhour=(00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23)

sum=0
for date in ${etldate[@]}
do
	for hour in ${etlhour[@]}
	do
		count=`hadoop fs -ls  /user/hive/databases/mydata/data_date=$date$hour | awk -F ' ' '{print $5}'|awk '{a+=$1}END {print a/(1024*1024*1024)}'`
		
		sum=$(echo "$sum+$count"|bc)
	done
done

echo 'mydata表一天存量：'$sum