上一篇文章提到sqoop的导入导出的相关案例,这些案例需要个人来进行执行,
效率低并且有可能出现问题
那么,我们可以将sqoop以job的形式来运行,来提高效率:
sqoop job方式设置导数据:
sqoop job \
--create gp1919_bap_user \
-- import \
--connect jdbc:mysql://mini4:3306/qfbap_ods \
--driver com.mysql.jdbc.Driver \
--username root \
--password 123456 \
--table user \
--delete-target-dir \
--target-dir /user/hive/warehouse/gp1919_qfbap_ods.db/ods_user \
--fields-terminated-by '\001' \
;
实质上就是创建一个job,然后来调用这个job:
显示所有的job:
sqoop job --list
调用job:
sqoop job --exec gp1919_bap_user
中间输入数据库的密码就可以将程序执行下去,将数据导入到相关的hdfs路径之下去。
下一篇文章介绍,如果比表面人机交互(输入mysql的密码)直接将job运行。