Sqoop之快速入门

---

一、简介

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

二、原理

将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

三、同步案例

3.1、导入数据

3.1.1、RDBMS到HDFS

1、全部导入

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--table 表名 \
--target-dir HDFS路径 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

2、查询导入

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--target-dir HDFS路径 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select 字段.. from 表名 where id <=1 and $CONDITIONS;'

3、导入指定列

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--target-dir HDFS路径 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table 表名 \
--columns 列名1,列名2...

4、where过滤导入

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--target-dir HDFS路径 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table 表名 \
--where "表字段过滤条件"

3.1.2、RDBMS到Hive

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--table 表名 \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table hive表名

3.1.3、RDBMS到Hbase

bin/sqoop import \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--table 表名 \
--columns "列名1,列名2.." \
--column-family "hbase列簇名" \
--hbase-create-table \
--hbase-row-key "mysql指定那列为rowkey" \
--hbase-table "hbase中表名" \
--num-mappers 1 \
--split-by 切分键,对应表中的列,和rowkey对应

3.2、导出数据

3.2.1、HIVE/HDFS到RDBMS

bin/sqoop export \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--table 表名 \
--num-mappers 1 \
--export-dir HDFS导出的文件路径 \
--input-fields-terminated-by "\t"

3.3、脚本打包

3.3.1、创建一个.opt文件

mkdir opt
touch opt/job_HDFS2RDBMS.opt

3.3.2、编写sqoop脚本

编辑文件：vi opt/job_HDFS2RDBMS.opt

bin/sqoop export \
--connect jdbc:mysql://主机名:3306/数据库 \
--username 用户名 \
--password 密码 \
--table 表名 \
--num-mappers 1 \
--export-dir HDFS导出的文件路径 \
--input-fields-terminated-by "\t"

3.3.3、执行脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt