大数据开发hadoop入门基础之sqoop

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将大数据培训一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

 Sqoop是大数据开发入门必备掌握知识，今天给大家介绍下Sqoop一些常用的命令。

1.查看sqoop帮助文档

sqoop help

2.hdfs导入mysql

sqoop export \
--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \
--username root \
--password 123456 \
--table student \
--export-dir /tmp/zhenglihan/cdhBigdata/sqoop/export/sqoopData.txt \
--fields-terminated-by ','

3.mysql导出到hdfs

sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect "jdbc:mysql://bigdata4.zhenglihan.com:3306/test?useUnicode=true&characterEncoding=latin1&tinyInt1isBit=false" \
--username root \
--password 123456 \
--table student \
--m 10 \
--target-dir /tmp/zhenglihan/cdhBigdata/sqoop/import \
--fields-terminated-by '`' \
--null-string '' \
--null-non-string '' \
--columns 'name,age'

4.mysql导入hive

sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \
--username root \
--password 123456 \
--table student \
--hive-import \
--hive-table testsqoop.student

5.hive导入mysql

sqoop export \
--connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \
--username root \
--password 123456 \
--table student \
--input-fields-terminated-by '\001' \
--export-dir /user/hive/warehouse/testsqoop.db/student  \
--columns 'name,age'

总结：

本文主要列举了sqoop的一些常用操作，包括hive与mysql的相互导入导出，与hdfs与mysql的相互导入导出，值得学者们保存到自己的知识库里，以备后续工作使用。

原创作者：hadoop入门引路人