sqoop导入数据命令实现

SQOOP是用于对数据进行导入导出的。
    (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

    (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.把数据从mysql导入到hdfs(默认是/user/<username>)中，使用sqoop import命令

sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'

2.把数据从mysql导入到hdfs中，处理掉null的字段，把null字段使用**来代替，注意不能使用--来代替null

sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**'

3.按照1和2放的方式进行数据导入，hadoop会默认分配多个map来执行，最终数据导入到多个目录下，可以设置使用一个map来导入数据，讲数据导入到hdfs中同一目录下

sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1

4.按照1,2,3的方式进行数据导入，不是追加数据的方式，如果原来已经在hdfs上存在了目录，则需要删除原目录，再导入，使用append命令可以实现追加

sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append

5.将数据导入到hive中

sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import