Sqoop安装部署

目录

Sqoop安装部署

Sqoop简介

Sqoop安装

软件准备

安装步骤

---

Sqoop安装部署

Sqoop简介

Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具，换句话说，sqoop的作用就是帮助数据在关系型数据库（如MySql等）与HDFS、Hive或Hbase之间进行传输。即Sqoop是的作用可以称为数据迁移。

Sqoop是Hadoop的第三方插件，因为它的底层使用的是MapReduce。

Sqoop安装

软件准备

1. Java和Hadoop环境。
2. Sqoop安装包：下载地址
3. JDBC驱动：下载地址

安装步骤

（1）上传安装包，并解压。

[root@bigdata111 soft]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

（2）进入sqoop根目录下的conf目录，修改配置文件。

注意ZOOCFGDIR路径要到 conf下：

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

## sqoop-env.sh修改内容如下

# Set Hadoop-specific environment variables here.

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.8.4/

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.8.4/

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/apache-hive-1.2.1-bin/

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf/

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10/

（3）将JDBC驱动拷贝到sqoop的lib路径下

（4）通过sqoop help命令验证sqoop是否配置成功

我们可以看到有三条warning消息，这是因为我们没有配置Hbase的原因。

（5）测试Sqoop是否能够连接MySql数据库