20、大数据之Sqoop与Sqoop的安装部署

Sqoop的安装与部署

1.下载Sqoop安装包

从官网http://sqoop.apache.org下载最新版的Sqoop

2.解压并安装Sqoop

tar  -zxvf sqoop-1.4.6.bin_hadoiop-2.0.4-alpha.tar.gz

3.配置Sqoop

(1)配置MySQL连接器

Sqoop经常与MySQL结合，帮助从其他数据源向MySQL数据库导入数据，或者到处数据，所以需要配置MySQl连接器。

首先进入mysql-connector-java-5.1.27/目录，然后将其中的mysql-connector-java-5.1.27-bin.jar文件，复制到Sqoop的安装目录。

cp  mysql-connector-java-5.1.27-bin.jar  sqoop-1.4.6.bin_hadoiop-2.0.4-alpha/lib

（2）配置Sqoop环境变量

进入Sqoop的主安装目录的conf子目录，然后执行改名操作，接着打开sqoop-env.sh进行编辑

cd   sqoop-1.4.6.bin_hadoiop-2.0.4-alpha/conf

mv  sqoop-env-template.sh   sqoop-env.sh

vi    sqoop-env.sh

将文件内容改为：

根据自己的安装情况，修改为自己的 安装目录

编辑完毕，保存退出

（3）配置Linux环境变量

vi  /home/hadoop/.bash_profile

export SQOOP_HOME=/home/hadoop/ sqoop-1.4.6.bin_hadoiop-2.0.4-alpha

export PATH=$PATH:$SQOOP_HOME/bin

4、验证启动

 cd  $SQOOP_HOME/bin

 sqoop-version

   预期的输出：

15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83

Compiled by abe on Fri Aug 1 11:19:26 PDT 2015

 到这里，整个Sqoop安装工作完成。

 

Sqoop

1.概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；

导出数据：从Hadoop的文件系统中导出数据到关系数据库

 

2. 工作机制

将导入或导出命令翻译成mapreduce程序来实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

 

3. Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）