Sqoop数据导入

 #博学谷IT技术支持#  

 一、概述

1.1 功能

• 导入数据：将MySQL、Oracle中的数据导入到Hadoop的HDFS、Hive、HBASE等数据存储系统。
• 导出数据：从HDFS、Hive中导出数据到关系数据库MySQL等。

1.2 工作机制

• 将导入或导出命令翻译成MapReduce实现。

1.3 安装测试

 #测试你的sqoop是否能查看MySQL中所有的数据库
 sqoop list-databases \
 --connect jdbc:mysql://hadoop01:3306/ \
 --username root \
 --password 123456

二、数据导入

• 全量数据：表中的所有数据。
• 增量数据：上次操作之后至今产生的数据。
• 数据子集：所有数据中的一部分数据。

2.1 全量导入MySQL数据到HDFS

sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://192.168.88.80:3306/userdb \
--username root \
--password 123456 \
--target-dir /sqoop/result3 \
--delete-target-dir \
--fields-terminated-by '\t' \
--split-by name \
--table emp \
--m 2

2.2 全量数据导入至Hive