Shell脚本实现执行‘Hive脚本’

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件hive映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

Hive目前还不支持像Mysql那样的sql脚本，如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况，想了许多土方法)。

于是就想到了用shell脚本去实现执行批量HQL命令的方法。

其实原理很简单，在shell脚本中用echo命令将HQL命令以字符串的形式‘导入’Hive客户端里面去执行，还可以用重定向将执行结果保存到脚本日志中。

下面来个简单的一例子：

#如果已经配好环境就不需要再export了
export HADOOP_HOME=/opt/hadoop-0.19.2/
export HIVE_HOME=/opt/hive.0.42/

echo "show tables;CREATE TABLE leign(id INT,name STRING) COMMENT 'This is a test table'
 PARTITIONED BY(dt STRING, country STRING)
 STORED AS SEQUENCEFILE;show tables;exit;" | hive -u root -p *** > hive_create_table.log

以上这个例子简单地创建了一张表，然后将建表前后所有表的情况都打到了log日志里面。
大家可以发挥想象，写出自己需要的hive脚本。