大数据平台设置表数据量的监控任务(阈值)

大数据平台设置表数据量的监控任务

#------------
#本脚本为通用脚本
#编写目的:监控玄武平台部分表的数据量,设置阈值,超过设置阈值会报错,发送短信提醒
#-----------
DB_NAME=${dbname} #DB_NAME:库名
TABLE_NAME=${tablename} #TABLE_NAME:表名
NORMAL_COUNT=${normalcount} #NORMAL_COUNT:最小阈值
MAX_COUNT=${maxcount} #MAX_COUNT:最大阈值
P_DATE=${pdate}	#P_DATE:日期
TABLE_ERR_FLAG=${DB_NAME}.${TABLE_NAME}.err

table_counts=$(hive -e "analyze table ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}') compute statistics;
desc formatted ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}')" | grep numRows | awk '{print $2}') #table_counts 查询出传入日期的表的数据量

if [ ! ${table_counts} ]; then
    table_counts=0
fi

echo "table_counts: $table_counts"
echo "normal_counts: ${NORMAL_COUNT}"
echo "maxcount: ${MAX_COUNT}"
echo  "${P_DATE} ${TABLE_NAME}'s count is ${table_counts} , normal_count:${NORMAL_COUNT} , maxcount: ${MAX_COUNT}"  

	
# 正常情况
if [ ${table_counts} -gt ${NORMAL_COUNT} ] && [ ${table_counts} -lt ${MAX_COUNT} ] ; then
	echo "check success"
else
	echo "check error"	
	exit -1
fi	
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

章鱼哥TuNan&Z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值