Sqooop使用模板

Sqoop使用模板

1、测试连接数据库

bin/sqoop \
list-databases \
-connect \
jdbc:mysql://localhost:3306 \
-username root \
-password root 

2、将数据从MySQL导入到HDFS

1、导入到默认的HDFS路径

bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs

2、导入到自定义路径

bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--target-dir /data

3、设置map的数量，以及删除目标文件夹，防止目标路径已存在

bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-userename root \
-password root \
--table tohdfs \
--delete-target-dir \
--target-dir /data \
--num-mappers 1

4、设置map的数量，以及删除目标文件夹，以及指定导出分隔符

bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--delete-target-dir \
--target-dir /data \
--num-mappers 1 \
--fields-terminated-by '\t'

3、将数据从MySQL导入到hive中

bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--hive-import \
--hive-database student \
--hive-table student_info \
--num-mappers 1 \
--fields-terminated-by '\t'

4、将数据从HDFS导出到MySQL中

bin/sqoop export \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \
--input-fields-terminated-by '\t'

5、将数据从hive导出到MySQL中

其实hive导出到MySQL中也就是将hive在HDFS中的存储文件导出到MySQL中。

bin/sqoop export \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tomysql \
--export-dir /user/hive/warehouse/wmc_log.db/wmc_result \
--num-mappers 1 \
--input-fields-terminated-by '\001'

---

有别的再补充