记一次实际sqoop业务的理解（注释多）

最新推荐文章于 2022-06-19 21:02:00 发布

九叶不睡觉

最新推荐文章于 2022-06-19 21:02:00 发布

阅读量691

点赞数 1

分类专栏：大数据/云计算文章标签： sqoop hive MySQL sqoop job 解析

本文链接：https://blog.csdn.net/qq_29186199/article/details/81101214

版权

本文详细记录了一次sqoop业务操作，包括从MySQL全量和增量导入数据到Hive，以及从Hive导出数据到MySQL的过程。通过创建和执行sqoop作业，实现数据迁移，并对相关脚本进行了解释和说明。

摘要由CSDN通过智能技术生成

最近梳理一项sqoop业务，整理如下（尽可能详细注释,表名，IP，账户密码，以及实际代码都做了处理，当作demo看完全可以的，可运行）：

1、mysql -> hive（创建任务->执行任务）

创建用户任务脚本createUserJob.sh内容如下：
-

sqoop job --delete sqoop_job_1
sqoop job --create sqoop_job_1 -- import 
--connect jdbc:mysql://(mysql服务器ip):3307/ucenter 
--table mysql_table --columns "c_id,c_company_name" -m 1 
--username test --password test --fields-terminated-by '\0001' 
--hive-drop-import-delims --null-string '\\N' 
--null-non-string '\\N' --hive-import