定时自动执行Sqoop及Hive命令

上一篇文章中介绍了手动输入命令方式，单步执行Sqoop及Hive命令《通过sqoop进行mysql与hive的导入导出》。本文主要介绍通过编写shell命令及定时执行（crontab）方式，定时自动执行Sqoop及Hive命令。

编写Shell批量执行命令

• 在/usr/bigdata/timersh目录下创建一个shell脚本（如：sqooptimer.sh），内容如下：

#!/bin/sh

#将mysql表数据导入hive
sqoop import --connect jdbc:mysql://192.168.213.1:3306/casedb  --username root --password root --table category --hive-import --create-hive-table -m 1

#将hive表中的t_class表，执行查询过滤后，结果输出到HDFS的 /output/t_class目录
hive -e "INSERT OVERWRITE DIRECTORY '/output/t_class'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
SELECT * FROM t_class WHERE id > 100;"

#删除t_class表中原有数据，避免多次插入重复数据
sqoop eval --connect jdbc:mysql://192.168.35.6:3306/lexian --username root --password root  --query "DELETE FROM t_class"

#将HDFS结果导出到mysql的t_class表中
sqoop export --connect jdbc:mysql://192.168.213.1:3306/casedb --username root --password root --table t_class --direct --export-dir /output/t_class --driver com.mysql.jdbc.Driver --input-fields-terminated-by '\t' --lines-terminated-by '\n'
hadoop fs -rmr /output/browseresult

• 对shell脚本赋予可执行权限

chmod +x sqooptimer.sh

验证shell脚本执行是否正确

• 在命令行模式下，执行该shell脚本

./sqooptimer.sh

• 正确执行后，结果如《通过sqoop进行mysql与hive的导入导出》结果一致。

定期执行shell脚本

• 通过crontab -e 加入以下命令

#每5分钟执行一次命令
*/5 * * * * . /etc/profile; /bin/sh /usr/bigdata/timersh/sqooptimer.sh