使用sqoop将mysql数据导入hive

最新推荐文章于 2024-02-04 12:25:32 发布

honconM

最新推荐文章于 2024-02-04 12:25:32 发布

阅读量1.3k

点赞数 2

文章标签： mysql sqoop hive

本文链接：https://blog.csdn.net/qq_51903852/article/details/121492343

版权

本文介绍了如何使用Sqoop工具将MySQL数据迁移到Hive，包括创建表、同步数据、筛选查询、增量导入以及不同类型的增量策略。重点讲解了sqoop import命令的多个选项，如where子句筛选、query方式导表和不同类型的增量更新。

摘要由CSDN通过智能技术生成

-----------------------mysql to hive(一、先建表，再导入数据)------------------------------
在hive中创建表kb15.student_mysql，数据结构与mysql中student相同
[root@mihaoyu151 ~]# sqoop create-hive-table \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student \
> --hive-table kb15.student_mysql
-----------------------------------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student \
> --hive-table kb15.student_mysql \
> --hive-import \
> --m 1
------------------------mysql to hive(二、同时建表、导入数据)-----------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student \
> --hive-import \
> --hive-database kb15 \
> --m 1
-----------------------where------------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student \
> --where "telephone='13613309876' and classId=3" \
> --target-dir /sqoop/demo3 \
> --delete-target-dir \
> --m 1
------------------------query-----------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --query 'select id,name,age,gender,telephone,email,classId from student where id>3 and classId=1 and $CONDITIONS' \
> --target-dir /sqoop/demo6 \
> --delete-target-dir \
> --fields-terminated-by '\t' \
> --split-by classId \
> --m 1
----------------------增量导入-------------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student \
> --target-dir /sqoop/incre1 \
> --incremental append \
> --check-column id \
> --last-value 9 \
> --m 1
------------------incremental增量导入	lastmodified <append, merge-key>-----------------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student2 \
> --target-dir /sqoop/incre2 \
> --incremental lastmodified \
> --check-column last_mod \
> --last-value "2021-11-23 11:07:05" \
> --append \
> --m 1
------------------incremental增量导入	lastmodified <append, merge-key>-----------------------------------
[root@mihaoyu151 ~]# sqoop import \
> --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \
> --username root \
> --password root \
> --table student2 \
> --target-dir /sqoop/incre3 \
> --incremental lastmodified \
> --check-column last_mod \
> --last-value "2021-11-23 11:11:32" \
> --merge-key id \
> --m 1
-----------------------------------------------------