Sqoop
文章目录
一、Sqoop 原理
将导入或导出命令翻译成 mapreduce 程序来实现。
在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。
二、Sqoop 安装
安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。
3.1 下载并解压
-
下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
-
上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中
-
解压 sqoop 安装包到指定目录
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
3.2 修改配置文件
-
重命名配置文件
mv sqoop-env-template.sh sqoop-env.sh
-
修改配置文件
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2 export HIVE_HOME=/opt/module/hive export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10 export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf export HBASE_HOME=/opt/module/hbase-1.3.1
3.3 拷贝 JDBC 驱动
拷贝 jdbc 驱动到 sqoop 的 lib 目录下
cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/
3.4 验证 Sqoop 配置
bin/sqoop help
## 出现一些Warning警告(警告信息已省略),并伴随着帮助命令的输出:
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
3.5 测试 Sqoop 连接数据库
查看 Mysql 中的数据库
bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password maben996
三、Sqoop 的简单使用案例
4.1 导入数据
在 Sqoop 中,从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。
① RDBMS 到 HDFS
-
确定 Mysql 服务开启正常
-
在 Mysql 中新建一张表并插入一些数据
create database company; create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255)); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale'); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale'); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale'); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale'); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale'); insert into company.staff(name, sex) values('Thomas', 'Male'); insert into company.staff(name, sex) values('Catalina', 'FeMale');
-
导入数据
全部导入
bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password maben996 \ --table staff \ --target-dir /company \ --delete-target-dir \ --num-mappers 2 \ --fields-terminated-by "\t"
使用 sqoop 关键字筛选查询导入数据
在使用 --table --columns 指定参数的方式导入时,MR 默认使用表中的主键进行split,并且 target-dir 也有默认的路径 /user/maben96/
bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password maben996 \ --target-dir /company \ --delete-target-dir \ --num-mappers 2 \ --fields-terminated-by "\t" \ --table staff \ --where "id >= 5 and id <= 10"
导入指定列
提示:columns中如果涉及到多列,用逗号分隔,分隔时不要添加空格
bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password maben996 \ --target-dir /company \ --delete-target-dir \ --num-mappers 2 \ --fields-terminated-by "\t" \ --columns id,sex \ --table staff
查询导入
使用查询导入时要注意:1. 要手动指定 split 的列名,当 num-mappers 为 1时指定 split。2. 手动指定输出文件的路径 target-dir。3. 在 where 后必须接 ‘$CONDITIONS’ 作为占位符。如果 query 后使用的是双引号,则 $CONDITIONS 前必须加转移符,防止 shell 识别为自己的变量。
bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password maben996 \ --target-dir /company \ --delete-target-dir \ --num-mappers 2 \ --fields-terminated-by "\t" \ --query 'select id,name,sex from staff where (id >= 10 and id <= 20) and $CONDITIONS' \ --split-by id
② RDBMS 到 Hive
该过程分为两步,第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库,第一步默认的临时目录是/user/maben996/表名
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table staff \
--num-mappers 2 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive
③ RDBMS 到 Hbase
sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自动创建 HBase 表的功能。 解决方案:导入前,手动创建 HBase 表。
bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table company \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id
4.2 导出数据
“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据,叫做:导出,即使用 export 关键字。
HIVE / HDFS 到 RDBMS
Mysql 中如果表不存在,不会自动创建
bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password maben996 \
--table staff \
--num-mappers 2 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"
4.3 脚本打包
使用 opt 格式的文件打包 sqoop 命令,然后执行
-
创建一个 .opt 文件
mkdir opt vim opt/option.opt
-
编写 sqoop 脚本
vi opt/option.opt export --connect jdbc:mysql://hadoop102:3306/company --username root --password maben996 --table staff --num-mappers 2 --export-dir /user/hive/warehouse/staff_hive --input-fields-terminated-by "\t"
-
执行该脚本
bin/sqoop --options-file opt/option.opt