Sqoop（1）——基本概念

Sqoop（1）——基本概念

1. 简介

Sqoop

将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具

 

官网：

http://sqoop.apache.org/

 

版本：（两个版本完全不兼容，sqoop1使用最多）

sqoop1：1.4.x

sqoop2：1.99.x

 

同类产品

DataX：阿里顶级数据交换工具

1. Sqoop架构

sqoop架构非常简单，是hadoop生态系统的架构最简单的框架。

sqoop1由client端直接接入hadoop，任务通过解析生成对应的maprecue执行

1. Sqoop导入和导出的概念

因为Sqoop是Hadoop生态系统中的一部分，所以Sqoop的导入和导出是固定的概念，从关系型数据库导出数据到HDFS成为【导入】，从HDFS导出数据到关系型数据库成为【导出】。

1. Sqoop导入

数据流向：RDB -> HDFS

1. Sqoop导出

数据流向：HDFS -> RDB