sqoop工具

1.sqoop简介

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

Sqoop是一个在（MySQL、Oracle）等关系型数据库和大数据平台之间进行批量数据迁移的工具。Sqoop底层能实现将关系型数据库中的数据迁移到大数据平台上是因为sqoop的底层是采用MapReduce程序实现抽取、转换、加载，MapReduce本身就并行化和高容错率，能很好的保证数据的迁移，而且与Kettle等传统ETL工具相比，Sqoop的任务跑在Hadoop集群上，能有效减少ETL服务器资源的使用情况

2.安装

mv sqoop-env-template.sh sqoop-env.sh

 vi sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/cluster/hadoop-2.6.4

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/home/hadoop/cluster/hadoop-2.6.4

#set the path to where bin/hbase is available

export HBASE_HOME=/home/hadoop/cluster/hbase-0.98

#Set the path to where bin/hive is available

export HIVE_HOME=/home/hadoop/cluster/hive-1.2.1

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/home/hadoop/cluster/zookeeper-3.4.5/conf