一、安装准备
1、软件依赖
jdk(v1.8.0_73)、mysql(v5.6.26)、hdfs(自行准备集群并启动)、hive(v2.3.2)
2、安装节点规划
sqoop只需要一个节点
这个节点的要求能够访问到 hadoop hive hbase
二、安装步骤:
1、安装包上传 (上传至集群环境)
2、安装包解压
tar -xvzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3、配置环境变量
ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop(配置软链的目的是防止版本变更导致需要修改配置文件的问题)
export SQOOP_HOME=/home/hadoop/apps/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile
验证: 使用 sqoop version
4、修改sqoop的配置文件
cd /home/hadoop/apps/sqoop/conf (个人环境的目录,请根据个性化进行修改)
mv sqoop-env-template.sh sqoop-env.sh
在文件中需要配置以下内容:
#配置hadoop的安装目录
export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.7
#配置的hadoop的mr的安装目录
export HADOOP_MAPRED_HOME=mr的安装目录
#set the path to where bin/hbase is available
#export HBASE_HOME=hbase安装目录
#配置hive的安装目录
export HIVE_HOME=hive的安装目录
#设置 zookeeper的配置文件目录(例:/home/hadoop/apps/zookeeper-3.4.10/conf)
export ZOOCFGDIR=zookeeper的配置文件目录
5、将mysql的驱动包放在sqoop的安装目录的lib下
/home/hadoop/apps/sqoop/lib
到此为止安装完成
6、验证
查看mysql的所有数据库列表,\是linux中的换行,一条命令太长换行后可以继续输入
sqoop list-databases
–connect jdbc:mysql://节点地址:(节点端口,默认3306)/
–username 用户名
–password 密码