目录
一、介绍
功能:Sqoop是一个采集工具。类似于Flume,但是Flume是从一些日志中采集信息,Sqoop是从RDBMS中采集信息。比如Sqoop采集信息到HDFS/Hive。
版本:
Sqoop: 1.4.7 (用)
Sqoop2: 1.99.7(不用)
Sqoop的底层是:MapReduce中的map。
二、安装
步骤如下:
1)地址http://archive.cloudera.com/cdh5/cdh/5/,下载sqoop-1.4.6-cdh5.7.0.tar.gz
2)解压到~/app
3)拷贝MySQL Driver:mysql-connector-java-5.1.27-bin.jar到Hive的安装包下的lib中
4)conf/sqoop-env.sh 配置
[hadoop@hadoop001 conf]$ cp sqoop-env-template.sh sqoop-env.sh
[hadoop@hadoop001 conf]$ vi sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
5)vi ~/.bash_profile 配置Sqoop进环境变量
export SQOOP_HOME=/home/hadoop/app/sqoop-1.4.