Sqoop的数据导入与导出

一、导入数据库表数据到HDFS

• 从MySQL数据库服务器中的emp表导入HDFS。
• 注意，mysql地址必须为服务器IP，不能是localhost或者机器名。

  /usr/bin/sqoop import \
  --connect jdbc:mysql://192.168.88.80:3306/test \
  --password 123456 \
  --username root \
  --table emp \
  --m 1
  

二、导入到HDFS指定目录

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--delete-target-dir \
--table emp_add \
--target-dir /sqoop/emp \
-m 1

三、导入到hdfs指定目录并指定字段之间的分隔符

/usr/bin.sqoop import \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--delete-target-dir \
--table emp \
--target-dir /sqoop/emp2 \
--m 1 \
--fields-terminated-by '\t'

四、导入关系表到HIVE

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--table emp \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
--m 1

五、where导入到HDFS

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--table emp_add \
--target-dir /sqoop/emp_add \
--m 1
--delete-target-dir \
--where "city='sec-bad'"

六、sql语句查找导入hdfs

/usr/bin/sqoop import \
--connect jdbc:mysql://192/168.88.80:3306/test \
--username root \
--password 123456 \
--delete-target-dir \
--m 1 \
--query "select phno from emp_conn where 1=1 and \$CONDITIONS" \
--target-dir /sqoop/emp_conn

七、增量导入数据到Hive表

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--query "select * from emp where id>1203 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-database emp_hive \
-m 1

八、Sqoop的数据导出

/usr/bin/sqoop export \
--connect jdbc:mysql://192.168.88.80:3306/test \
--username root \
--password 123456 \
--table emp_out \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1