统计hdfs昨天分区的数据量

最新推荐文章于 2024-08-03 21:57:01 发布

隔壁老登

最新推荐文章于 2024-08-03 21:57:01 发布

阅读量234

点赞数 3

分类专栏： shell代码文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/weixin_45547818/article/details/138170049

版权

shell代码专栏收录该内容

19 篇文章 0 订阅

订阅专栏

本文介绍了一个名为statis_hdfs_cnt.sh的shell脚本，用于统计HDFS中昨天各分区的数据量。脚本首先加载环境变量，备份前一天数据，然后遍历配置文件中的表名，执行数据计数并写入结果文件。

摘要由CSDN通过智能技术生成

#/bin/bash
## ********************************************
## 名    称：statis_hdfs_cnt.sh
## 功能描述：统计hdfs昨天分区的数据量
## 创建人员: ypg
## 创建日期:
## 修改信息: 
## 版    本: V1.0
## 起调方式：sh statis_hdfs_cnt.sh statis_hdfs_cnt.conf
## 参数说明：$1:配置文件，跟脚本同级目录
## ********************************************
#加载环境
source ~/.bash_profile
hd_source

local_path=/test/statis_hdfs_cnt
copy_path=/user/hive/warehouse/copy.db
new_path=/user/hive/warehouse/new.db
back_path=/user/hive/warehouse/bak.db
one_day_ago=`date -d"1 day ago" +%Y%m%d`

[ -e ${local_path}/statis_hdfs_cnt.txt ] && rm ${local_path}/statis_hdfs_cnt.txt
#备份一天前的数据，并将小文件合并
function statis_hdfs_cnt_fun(){
hadoop fs -test -d ${copy_path}/${tableName}/etl_date=${one_day_ago}
if [ $? -eq 0 ]; then
	cnt=`hadoop fs -cat ${copy_path}/${tableName}/etl_date=${one_day_ago}/* | wc -l`
	echo "${tableName}\t${one_day_ago}\t$cnt" >> ${local_path}/statis_hdfs_cnt.txt
else
	hadoop fs -test -d ${new_path}/${tableName}/etl_date=${one_day_ago}
	if [ $? -eq 0 ]; then
		cnt=`hadoop fs -cat ${new_path}/${tableName}/etl_date=${one_day_ago}/* | wc -l`
		echo "${tableName}\t${one_day_ago}\t$cnt" >> ${local_path}/statis_hdfs_cnt.txt
	else
		cnt=`hadoop fs -cat ${back_path}/${tableName}/etl_date=${one_day_ago}/* | wc -l`
		echo "${tableName}\t${one_day_ago}\t$cnt" >> ${local_path}/statis_hdfs_cnt.txt
	fi
fi

}

#遍历处理
for tableName in `cat ${local_path}/$1`
do
	statis_hdfs_cnt_fun ${tableName}
done