Sqoop教程(一) Sqoop数据迁移工具

 

 

Sqoop教程(一) Sqoop数据迁移工具

 

1 Sqoop介绍

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。

Sqoop工作流程图1-1

1.1 数据环境

1、在windons安装MySQL数据库，安装教程参见：http://jingyan.baidu.com/article/4b07be3c67853c48b380f311.html

2、本地安装MySQL可视化工具SQLyog，下载地址：http://download.csdn.net/detail/yuan_xw/9535853

3、下载创建数据库、插入测试数据，下载地址：http://download.csdn.net/detail/yuan_xw/9537098

创建数据库sqoop_db

 

1.2 sqoop下载安装

在《Hadoop教程(五)Hadoop分布式集群部署安装》安装的是Hadoop-2.7.1版本，在此需要下载