一.sqoop的功能
sqoop是实现hadoop与关系数据库(RDBMS)之间的数据迁移工具。通过Sqoop可以方便的将RDBMS的数据和hdfs、hbase、hive上的数据进行相互导入导出。
二.sqoop的安装
1.下载压缩包 https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.解压,配置环境变量
tar –xzfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/ ->解压 (直接在可视化页面解压也可以)
vim /etc/profile ->修改文件,配置环境变量:
在文件最后加上下面两行(其中SQOOP_HOME后面的值为你解压的路径)
export SQOOP_HOME=/usr/local/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
最后再更新环境变量的值 source /etc/profile
先复制sqoop[-env-template.sh文件,重命名
配置$SQOOP_HOME :/conf/sqoop-env.sh
因为sqoop是hadoop与关系型数据库之间的数据交换,所以需要使用相关数据的jar包,这儿我们用的是mysql,所以需要下载mysql的链接jar包,然后放在sqoop的家目录下的lib目录下。
wget http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar ->下载
mv mysql-connector-java-5.1.32-bin.jar /usr/local/sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz/lib/ ->添加jar包(复制jar包,放到sqoop-1.4.6的lib文件中)
安装完成后简单验证(显示所有数据库)