cdh sqoop 配置_SQOOP安装配置

SQOOP

是一款开源的工具，主要用于在

HADOOP

与传统的数据库间进行数据的传

递，下面从

SQOOP

用户手册上摘录一段描述

Sqoop is a tool designed to transfer data between Hadoop andrelational

databases. You can use Sqoop to import data from arelational database

management system (RDBMS) such as MySQL or Oracleinto the Hadoop

Distributed File System (HDFS),transform the data in Hadoop MapReduce,

and then export the data backinto an RDBMS.

这里我主要描述一下安装过程

1

、下载相应软件

我使用的

HADOOP

版本是

APACHE

官方版本

0.20.2

，但是后来在使用的过程中报

错，

查阅了一些文章，

发现

SQOOP

是不支持此版本的，

一

般都会推荐你使用

CDH3

。

不过后来通过拷贝相应的包到

sqoop-1.2.0-CDH3B4/lib

下，依然还是可以使用

的。当然，你可以选择直接使用

CDH3

。

下面是

CDH3

和

SQOOP 1.2.0

的下载地址

http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz

http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

其中

sqoop-1.2.0-CDH3B4

依赖

hadoop-core-0.20.2-CDH3B4.jar

，所以你需要

下载

hadoop- 0.20.2-CDH3B4.tar.gz

，解压缩后将

hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2- CDH3B4.jar

复制到

sqoop-1.2.0-CDH3B4/lib

中。

另外，

sqoop

导入

mysql

数据运行过程中依赖

mysql-connector-java-*.jar

，

所

以你需要下载

mysql-connector-java-*.jar

并复制到

sqoop-1.2.0-CDH3B4/lib

中。

2

、修改

SQOOP

的文件

configure-sqoop

，注释掉

hbase

和

zookeeper

检查(除

非你准备使用

HABASE

等

HADOOP

上的组件)

#if [ ! -d "${HBASE_HOME}" ]; then

# echo “Error: $HBASE_HOME does not exist!”

#

echo

‘Please

set

$HBASE_HOME

to

the

root

of

your

HBase

installation.’

# exit 1

#fi