HIVE学习与实践（三）：结合linux shell脚本按日期提取表，count，distinct，group by用法

O白马非马O

于 2016-11-16 21:10:36 发布

阅读量867

点赞数

分类专栏：数据库相关数据挖掘 linux脚本文章标签： linux shell 脚本 hive

本文链接：https://blog.csdn.net/dahunbi/article/details/53191954

版权

本文通过一个名为create_everyday.sh的bash脚本示例，演示如何在Linux环境下使用HIVE进行数据统计。脚本接收两个日期参数，用于按日期分区查询数据。内容涉及HIVE的select嵌套、count、distinct和group by操作，以及shell脚本中date命令的运用和while循环的使用。最终，脚本还会计算执行时间。

摘要由CSDN通过智能技术生成

例子

下面的例子create_everyday.sh是在bash 脚本里面嵌入 hive的代码，实现在bash下
直接运行脚本

create_everyday.sh 20110101 20110302

就可以统计把每天的信息提出来。

create_everyday.sh：

# file: create_everday.sh
#!/bin/sh 
# 确定时间范围 从startdate到enddate
source /home/hduser0539/.bash_profile
 start=`date +%s`


  if [[ -z $1 ]]; then
      #dateStr=`date +%Y-%m-%d -d "-1 day"`
      echo "No start_date input!!!"
      exit
  else