sqoop mysql导入mysql_Sqoop导入MySQL数据

最新推荐文章于 2024-01-12 11:41:37 发布

俞林鑫

最新推荐文章于 2024-01-12 11:41:37 发布

阅读量1.1k

点赞数

文章标签： sqoop mysql导入mysql

本文链接：https://blog.csdn.net/weixin_35733790/article/details/113333335

版权

本文介绍了如何使用Sqoop将MySQL数据库中的数据导入到Hive中，包括导入所有表和单个表的步骤，以及如何在Hive中创建对应表。此外，还详细阐述了分段并行导入的方法，提高数据迁移效率。

摘要由CSDN通过智能技术生成

导入所有表：

sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord -m 1 --hive-import;

导入一个表：

sqoop import --connect jdbc:mysql://ip:port/dbName --table tableName --username userName --password passWord -m 1 --hive-import;

hive中按照mysql中sqoop数据库tb1表创建表tb1

sqoop create-hive-table --connect jdbc:mysql://ip:port/dbName --table tableName --fields-terminated-by ',' --username userName --password passWord

将数据库sqoop中表tb1数据导入到hdfs中，map tasks数量为1

sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --table tableName -m 1

将hdfs中的数据导入到hive表tb1中

load data inpath '/user/code-pc/tb1/part-m-00000' into table tb1;

分段并行导入

sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp<='3'"

sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp>'3' and guidestep<='5'"

并行导入：

sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg1/' --split-by columnName --table tableName -m 10