Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件hive映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
Hive目前还不支持像Mysql那样的sql脚本,如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况,想了许多土方法)。
于是就想到了用shell脚本去实现执行批量HQL命令的方法。
其实原理很简单,在shell脚本中用echo命令将HQL命令以字符串的形式‘导入’Hive客户端里面去执行,还可以用重定向将执行结果保存到脚本日志中。
下面来个简单的一例子:
以上这个例子简单地创建了一张表,然后将建表前后所有表的情况都打到了log日志里面。
大家可以发挥想象,写出自己需要的hive脚本。
Hive目前还不支持像Mysql那样的sql脚本,如果遇到需要批量处理HQL就会比较麻烦(这两天就遇到需要批量删除有命名规则的表的情况,想了许多土方法)。
于是就想到了用shell脚本去实现执行批量HQL命令的方法。
其实原理很简单,在shell脚本中用echo命令将HQL命令以字符串的形式‘导入’Hive客户端里面去执行,还可以用重定向将执行结果保存到脚本日志中。
下面来个简单的一例子:
#如果已经配好环境就不需要再export了
export HADOOP_HOME=/opt/hadoop-0.19.2/
export HIVE_HOME=/opt/hive.0.42/
echo "show tables;CREATE TABLE leign(id INT,name STRING) COMMENT 'This is a test table'
PARTITIONED BY(dt STRING, country STRING)
STORED AS SEQUENCEFILE;show tables;exit;" | hive -u root -p *** > hive_create_table.log
以上这个例子简单地创建了一张表,然后将建表前后所有表的情况都打到了log日志里面。
大家可以发挥想象,写出自己需要的hive脚本。