sqoop_简介及安装

一、简介

Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库间 进 行 数 据 的 传 递 ，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS的数据导进到关系型数据库中。

Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目。

    sqoop是基于JDBC的mapReduce，它的本质是执行mapReduce程序。

 

二、安装

下载sqoop包，如：sqoop-1.4.5.bin__hadoop-0.23.tar.gz

解压到/opt/sqoop下，名字改短点，最终目录为：/opt/sqoop/sqoop-1.4.5

配置环境变量：

export SQOOP_HOME=/opt/sqoop/sqoop-1.4.5

export PATH=$PATH:$SQOOP_HOME/bin

 

测试，使用sqoop命令：

 

 

注：因为sqoop是基于JDBC的，因此需要将对应的驱动放到lib目录。

/opt/sqoop/sqoop-1.4.5/lib

如：使用oracle数据库，需要将安装目录下的：db_1/jdbc/lib/下的驱动（有很多，随便选一个）复制一个到sqoop的lib中去，