Sqoop 笔录

Sqoop

一、Sqoop 原理

将导入或导出命令翻译成 mapreduce 程序来实现。

在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

二、Sqoop 安装

安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。

3.1 下载并解压

1. 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2. 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中

3. 解压 sqoop 安装包到指定目录

tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

3.2 修改配置文件

1. 重命名配置文件

   mv sqoop-env-template.sh sqoop-env.sh
   

2. 修改配置文件

   export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
   export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
   export HIVE_HOME=/opt/module/hive
   export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
   export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf
   export HBASE_HOME=/opt/module/hbase-1.3.1
   

3.3 拷贝 JDBC 驱动

拷贝 jdbc 驱动到 sqoop 的 lib 目录下

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

3.4 验证 Sqoop 配置

bin/sqoop help

## 出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

3.5 测试 Sqoop 连接数据库

查看 Mysql 中的数据库

bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password maben996

三、Sqoop 的简单使用案例

4.1 导入数据

​ 在 Sqoop 中，从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

① RDBMS 到 HDFS

1. 确定 Mysql 服务开启正常

2. 在 Mysql 中新建一张表并插入一些数据

   create database company;
   create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   insert into company.staff(name, sex) values('Thomas', 'Male');
   insert into company.staff(name, sex) values('Catalina', 'FeMale');
   

3. 导入数据

   全部导入

   bin/sqoop import \
   --connect jdbc:mysql://hadoop102:3306/company \
   --username root \
   --password maben996 \
   --table staff \
   --target-dir /company \
   --delete-target-dir \
   --num-mappers 2 \
   --fields-terminated-by "\t"
   

   使用 sqoop 关键字筛选查询导入数据

   ​ 在使用 --table --columns 指定参数的方式导入时，MR 默认使用表中的主键进行split，并且 target-dir 也有默认的路径 /user/maben96/

   bin/sqoop import \
   --connect jdbc:mysql://hadoop102:3306/company \
   --username root \
   --password maben996 \
   --target-dir /company \
   --delete-target-dir \
   --num-mappers 2 \
   --fields-terminated-by "\t" \
   --table staff \
   --where "id >= 5 and id <= 10"
   
   

   导入指定列

   ​ 提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

   bin/sqoop import \
   --connect jdbc:mysql://hadoop102:3306/company \
   --username root \
   --password maben996 \
   --target-dir /company \
   --delete-target-dir \
   --num-mappers 2 \
   --fields-terminated-by "\t" \
   --columns id,sex \
   --table staff
   
   

   查询导入

   ​ 使用查询导入时要注意：1. 要手动指定 split 的列名，当 num-mappers 为 1时指定 split。2. 手动指定输出文件的路径 target-dir。3. 在 where 后必须接 ‘$CONDITIONS’ 作为占位符。如果 query 后使用的是双引号，则 $CONDITIONS 前必须加转移符，防止 shell 识别为自己的变量。

   bin/sqoop import \
   --connect jdbc:mysql://hadoop102:3306/company \
   --username root \
   --password maben996 \
   --target-dir /company \
   --delete-target-dir \
   --num-mappers 2 \
   --fields-terminated-by "\t" \
   --query 'select id,name,sex from staff where (id >= 10 and id <= 20) and $CONDITIONS' \
   --split-by id
   
   

② RDBMS 到 Hive

​ 该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/maben996/表名

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table staff \
--num-mappers 2 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

③ RDBMS 到 Hbase

sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自动创建 HBase 表的功能。 解决方案：导入前，手动创建 HBase 表。

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table company \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

4.2 导出数据

“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用 export 关键字。

HIVE / HDFS 到 RDBMS

Mysql 中如果表不存在，不会自动创建

bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table staff \
--num-mappers 2 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

4.3 脚本打包

使用 opt 格式的文件打包 sqoop 命令，然后执行

1. 创建一个 .opt 文件

   mkdir opt
   vim opt/option.opt
   
   

2. 编写 sqoop 脚本

   vi opt/option.opt
   
   export
   --connect
   jdbc:mysql://hadoop102:3306/company
   --username
   root
   --password
   maben996
   --table
   staff
   --num-mappers
   2
   --export-dir
   /user/hive/warehouse/staff_hive
   --input-fields-terminated-by
   "\t"
   
   

3. 执行该脚本

   bin/sqoop --options-file opt/option.opt