Sqoop安装部署

下载路径：

http://archive.apache.org/dist/phoenix/apache-phoenix-4.13.1-HBase-1.2/bin/

mysql connector 下载路径：

https://dev.mysql.com/downloads/connector/j/5.1.html

Sqoop简介

1. 用于在Haddoop和传统的数据库（mysql，postgresql等）进行数据的传递.
2. 可以通过hadoop的MapReduce把数据从关系型数据库中导入到Hadoop集群。
3. 传输大量结构化或半结构化数据的过程是完全自动化的。

一、安装部署

（1）、下载安装包

解压到：tar -zxvf  sqoop-1.4.7-cdh5.5.2.tar.gz

（2）、拷贝mysql的jdbc驱动包mysql-connector-java-5.1.31-bin.jar到sqoop/lib目录下。

（3）、配置环境变量

在Linux中执行下面命令：

#sqoop
export SQOOP_HOME=/root/fileProject/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH="$PATH:$SQOOP_HOME/bin"

（4）、复制sqoop/conf/sqoop-env-template.sh为sqoop-env.sh（cp sqoop/conf/sqoop-env-template.sh  sqoop-env.sh）

添加相关的配置

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.6

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.7.6

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/duanxz/hive/apache-hive-2.1.1-bin

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

（5）、测试Sqoop

./sqoop-help

这时你会发现报这样的错：

报错说明：因为我们没有基于hadoop安装HBase，所以HBase相关的命令不能用，但是操作hadoop分布式文件系统的命令是可以用的。

这个错误提示我们不用管它

 

执行./sqoop-version

 

二、使用Sqoop连接mysql测试

在sqoop bin目录下执行以下命令来显示数据库里所有表:

./sqoop-list-tables  --username root  --password '******' --connect jdbc:mysql://47.92.27.***:3306/hnrbportal?characterEncoding=UTF-8

这时我们的sqoop就可以成功的连接mysql做相应的操作了