“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据
下面的语法用于将数据导入HDFS:
$ sqoop import (generic-args) (import-args)
Sqoop测试表数据
在mysql中创建数据库userdb,然后执行参考资料中的sql脚本:
创建三张表: emp雇员表、 emp_add雇员地址表、emp_conn雇员联系表。
1.全量导入mysql表数据到HDFS
下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--delete-target-dir \
--target-dir /sqoopresult \
--table emp --m 1
其中 –target-dir可以用来指定导出数据存放至HDFS的目录;
mysql jdbc url 请使用 ip 地址。
为了验证在HDFS导入的数据,请使用以下命令查看导入的数据:
hdfs dfs -cat /sqoopresult/part-m-00000
可以看出它会在HDFS上默认用逗号,分隔emp表的数据和字段。可以通过
–fields-terminated-by ‘\t’ 来指定分隔符。
1201,gopal,manager,50000,TP
1202,manisha,Proof reader,50000,TP
1203,khalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
2.全量导入mysql表数据到HIVE
2.1.方式一:先复制表结构到hive中再导入数据
将关系型数据的表结构复制到hive中
bin/sqoop create-hive-table \
--connect jdbc:mysql://node-1:3306/sqoopdb \
--table emp_add \
--username root \
--password hadoop \
--hive-table test.emp_add_sp
其中:
–table emp_add为mysql中的数据库sqoopdb中的表。
–hive-table emp_add_