大数据（二十五）：Sqoop的介绍和安装

一、Sqoop简介

       Sqoop是一种旨在有效的Hadoop和关系型数据库等结构化数据存储之间传输大量数据的工具。Sqoop的原理就是将导入或者导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要就是对inputformat和OutputFormat进行定制。

 

二、下载并解压Sqoop

1.下载地址

http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2.上传安装包到linux中

3.解压安装包

tar -zxvf sqoop-1.4.6bin_hadoop-2.0.4-alpha.tar.gz

4.移动解压后的文件到/usr/local下并改名为sqoop1.4.6

mv sqoop-1.4.6bin_hadoop-2.0.4-alpha /usr/local/sqoop1.4.6

 

三、修改配置文件

1.进入sqoop目录下的conf文件夹

2.将sqoop-env-template.sh和sqoop-site-template.xml分别重命名为sqoop-env.sh和sqoop-site.xml

mv sqoop-env-template.sh sqoop-env.sh
mv sqoop-site-template.xml sqoop-site.xml

3.修改sqoop-env.sh文件

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export ZOOCFGDIR=/usr/local/zookeeper3.4.8/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper3.4.8

#如果还有HBASE就配置HBASEH_HOME

4.将jdbc的jar包拷贝到sqoop目录下的lib文件夹中（Sqoop会用来用来控制mysql）

5.进入sqoop目录下的bin文件夹运行帮助命令

./sqoop help

配置成功