一.简介
Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统(RDBMS)或大型机导入Hadoop分布式文件系统(HDFS),在Hadoop MapReduce中转换数据,然后将数据导出回RDBMS 。
sqoop官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
二.安装
1、解压sqoop
[root@master app]# pwd
/root/app
[root@master app]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/
2、环境变量
[root@master app]# vi ~/.bash_profile
export SQOOP_HOME=/usr/local/src/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
[root@master app]# source ~/.bash_profile
3、进入sqoop/conf/复制模板
[root@master conf]# cp sqoop-env.template.sh sqoop-env.sh
[root@master conf]# vi sqoop-env.sh
4、sqoop-env.sh的添加内容
export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.6.0
export HIVE_HOME=/usr/local/src/hive-1.2.2
export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.5
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/home/sofware/hadoop-2.9.2
export HIVE_HOME=/home/sofware/hive-2.3.6
[root@master conf]# source sqoop-env.sh
5、拷贝jar包——详细请看关于 jar包下载
[root@master lib]# cp /usr/local/src/hive-1.2.2/lib/mysql-connector-java-5.1.46-bin.jar /usr/local/src/sqoop-1.4.7.bin__hadoop-2.6.0/lib/
6,创建目录
[root@master ~]# cd /usr/local/src/sqoop-1.4.7.bin__hadoop-2.6.0/..
[root@master src]# mkdir hcatalog accumulo
7、运行:
[root@master conf]# sqoop help