Sqoop——学习笔记

Sqoop

1.简介

​ sqoop是一款开源的工具，主要用于在Hadoop（Hive）与传统的数据库之间进行数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将HDFS的数据导出到关系型数据库中

2.原理

​ 把导入或者导出命令翻译成MR程序来实现

​ 在翻译出的MR中主要是对inputformat 和 outputformat进行定制

3.安装

前提：已经安装好 Java和Hadoop的环境

3.1下载解压

​ 1.下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

​ 2.把Sqoop的安装包上传到虚拟机

​ 3.解压安装包大指定目录

3.2修改配置文件

配置文件在sqoop根目录下的conf文件夹中，

1.配置文件重命名

mv sqoop-env-template.sh sqoop-env.sh

2.修改配置文件 sqoop-env.sh

配置hadoop hbase hive zookeeper 的位置

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10

export ZOOCFGDIR=/opt/module/zookeeper-3.4.10

export HBASE_HOME=/opt/module/hbase

3.3拷贝JDBC驱动

把 JDBC的驱动拷贝到sqoop的lib目录下

3.4.验证sqoop

$ bin/sqoop help

会出现一些警告，接着帮助命令将回输出

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

3.5.sqoop连接数据库测试

bin/sqoop list-databases --connect jdbc:mysql://hadoop136:3306/ --username root --password 111111

出现以下的输出

information_schema
metastore
mysql
oozie
performance_schema

4.sqoop简单使用案例

4.1导入数据

导入：从非大数据集群（RDBFS）向大数据集群（HIVE,HDFS,HBASE）中传输数据

4.1.1 RDBMS 到 HDFS

1.确认 mysql服务开启正常

2.在mysql中新建一张表，插入两条数据

 mysql -uroot -p000000
create database company;
create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
 insert into company.staff(name, sex) values('Thomas', 'Male');
 insert into company.staff(name, sex) values('Catalina', 'FeMale');

3.导入数据

​ 1.全部导入

 bin/sqoop import \
--connect jdbc:mysql://hadoop136:3306/company \
--username root \
--password 111111 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

2.查询导入

 bin/sqoop import \
--connect jdbc:mysql://hadoop136:3306/company \
--username root \
--password 111111 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

3.导入指定列 –columns

 bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

columns 如果涉及到多列，用逗号分隔，分隔时不要添加空格

4.使用sqoop关键字筛选查询导入数据 –where

 bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

4.1.2RDBMS 到 HIVE

 bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

该过程分为两步，第一步将数据导入HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录：/user/username（用户名）/表名

4.1.3RDBMS 到 Hbase

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

sqoop1.4.6只支持hbase1.0.1版本之前的自动创建Hbase表

所以手动创建Hbase表

在Hbase中查看表的内容

scan ‘hbase_company’

4.2导出数据

导出：从大数据集群（HIVE,HDFS,HBASE）向非大数据集群中传输数据

4.2.1 HIVE/HDFS 到 RDBMS

mysql中表不存在的话，不会自动创建

 bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

4.3脚本打包

使用opt格式的文件打包sqoop命令，然后执行

1.创建一个.opt文件

 mkdir opt
 touch opt/job_HDFS2RDBMS.opt

2.编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

//下边是脚本
export
--connect
jdbc:mysql://hadoop102:3306/company
--username root
--password 000000
--table staff
--num-mappers 1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by "\t"

3.执行脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt