sqoop数据迁移

1 概述

        sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

        导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；

        导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等

2 工作机制

        将导入或导出命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3 sqoop安装

3.1 需要的文件

        sqoop-1.4.6-cdh5.14.0.tar.gz

        mysql-connector-java-5.1.40.jar

        java-json.jar

• 下载并解压

cd /opt/software
tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C ../module/

• 修改配置文件 

cd /opt/module/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/opt/module/hive-1.1.0-cdh5.14.0

• 加入额外的依赖包

mysql-connector-java-5.1.40.jar

java-json.jar

将这个两个jar包添加到sqoop的lib目录下

• 验证启动

cd /opt/module/sqoop-1.4.6-cdh5.14.0

bin/sqoop-version