sqoop是一款开源的工具,主要用于hadoop(hive)与传统的数据库(mysql,oracle)间进行数据的传递,可以将一个关系型数据库中的数据导进到hadoop的hdfs中,也可以将hdfs的数据导入到关系型数据库中。
集群搭建中需要安装sqoop,步骤如下:
1.上传
上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到bigdata02的/opt/software路径中
2.解压
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
3.重命名
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop
4.修改配置文件
进入到/opt/module/sqoop/conf目录,重命名配置文件
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
增加如下内容
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf
export HB