shell中判断hive表分区是否存在

最新推荐文章于 2024-04-30 20:45:00 发布

weixin_34004576

最新推荐文章于 2024-04-30 20:45:00 发布

阅读量3.7k

点赞数

文章标签：大数据 shell python

原文链接：https://my.oschina.net/u/4017963/blog/2994171

版权

2019独角兽企业重金招聘Python工程师标准>>>

判断当日分区是否有数据,如果有执行任务,没有就退出
主要思路是如果分区存在且有数据,hdfs文件系统下的对应表分区下会有part-m-00000这个文件(不一定是这个名字,具体要用hadoop fs -ls /user/hive/warehouse/ 查看)

temp0="part-"         # 这里只取了"part-"这个字段  
temp1=`hadoop fs -ls /user/hive/warehouse/test.db/table_name/dt=$dt`  
# 这里用了grep来找出temp1字符串中是否有temp0("part-")这个子串  
result=$(echo $temp1 | grep "${temp0}")       
if [[ "$result" != "" ]]  
then  
  echo "$dt 有数据,开始任务"  
  hive -f /home/test.sql -hivevar dt=$dt //执行相应的sql文件或hql语句  
else  
  echo "$dt 没有数据,终止任务"  
fi

temp1中的字段如下:

Found 3 items -rwxrwxrwt 2 root supergroup 0 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/_SUCCESS -rwxrwxrwt 2 root supergroup 76007252 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00000 -rwxrwxrwt 2 root supergroup 55380546 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00001 -rwxrwxrwt 2 root supergroup 40552007 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00002 -rwxrwxrwt 2 root supergroup 35753890 2018-12-15 03:58

转载于:https://my.oschina.net/u/4017963/blog/2994171