Sqoop 数据处理

2019独角兽企业重金招聘Python工程师标准>>>

• 列出Mysql所有的数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456

• 在hive中生成表结构

sqoop create-hive-table --connect jdbc:mysql://192.168.114.118:3306/test --username root --password 123456 --table test1 --fields-terminated-by '\t'

• 直接导入数据到hive(default数据库, -m  用于指定MR任务map的个数)

sqoop import --connect jdbc:mysql://192.168.114.118:3306/test --username root --password 123456 --table test1 --fields-terminated-by '\t' --hive-import -m 1

 sqoop import --connect jdbc:mysql://192.168.114.118:3306/test --username root --password 123456 --table test1 --fields-terminated-by '\t' --hive-import -m 1

• 上传到指定数据库(test, 有hive-overwrite会覆盖hive中原表的数据，没有的话就会追加数据)

sqoop import --connect jdbc:mysql://192.168.114.118:3306/test --username root --password 123456 --table test1 --fields-terminated-by '\t' --hive-import \
--hive-database test --hive-overwrite -m 1

更详细的命令参数请参考：

http://www.cnblogs.com/dongdone/p/5695497.html

http://blog.csdn.net/lifuxiangcaohui/article/details/40588929（HDFS-HIVE数据转换）

转载于:https://my.oschina.net/trydaydayup/blog/1518599