Sqoop使用模板
文章目录
1、测试连接数据库
bin/sqoop \
list-databases \
-connect \
jdbc:mysql://localhost:3306 \
-username root \
-password root
2、将数据从MySQL导入到HDFS
1、导入到默认的HDFS路径
bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs
2、导入到自定义路径
bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--target-dir /data
3、设置map的数量,以及删除目标文件夹,防止目标路径已存在
bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-userename root \
-password root \
--table tohdfs \
--delete-target-dir \
--target-dir /data \
--num-mappers 1
4、设置map的数量,以及删除目标文件夹,以及指定导出分隔符
bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--delete-target-dir \
--target-dir /data \
--num-mappers 1 \
--fields-terminated-by '\t'
3、将数据从MySQL导入到hive中
bin/sqoop import \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tohdfs \
--hive-import \
--hive-database student \
--hive-table student_info \
--num-mappers 1 \
--fields-terminated-by '\t'
4、将数据从HDFS导出到MySQL中
bin/sqoop export \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \
--input-fields-terminated-by '\t'
5、将数据从hive导出到MySQL中
其实hive导出到MySQL中也就是将hive在HDFS中的存储文件导出到MySQL中。
bin/sqoop export \
-connect \
jdbc:mysql://localhost:3306/sqoop \
-username root \
-password root \
--table tomysql \
--export-dir /user/hive/warehouse/wmc_log.db/wmc_result \
--num-mappers 1 \
--input-fields-terminated-by '\001'
有别的再补充