前言—Sqoop是什么?
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。它由Apache软件基金会提供。
由于Apache发行版本的Sqoop版本对应比较严格需要繁琐的编译过程,本教程采用通用的CDH5.3.6版本的大数据配套框架。
提示:在此前请确保已经配置好了CDH同版本的Hadoop环境,如果没有,欢迎看最简单易读的搭建hadoop伪分布式环境教程
一、Sqoop的下载
CDH版本的相关软件包都可以通过Cloudera的官方下载链接进行下载,在这里为大家贴上对应地址:
Sqoop下载链接
进入后本教程选择5.3.6下的Sqoop1.4.5版本进行下载
二、Sqoop的安装及环境配置
1.Sqoop安装
进入Sqoop安装包的下载目录,输入tar -zxvf sqoop-1.4.5-cdh5.3.6.tar.gz -C 解压目的地
进行解压,Done!
2.配置文件设置
进入Sqoop安装目录下的conf文件夹内,将sqoop-env-template.sh
文件重命名为sqoop-env.sh
,修改如下代码:
# Set Hadoop-specific environment variables here.
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
其中变量的值修改为自己的Hadoop安装目录即可,关于下面Hbase、Zookeeper等其他框架的环境变量,已经安装好就填写进去,没有也没关系。
总结
至于Sqoop的基本使用方法,欢迎点击我的其他博客,我们一同学习!