【Sqoop 入门 CentOS7】Sqoop-1.4.7 入门基础 2019.10.28

最新推荐文章于 2021-04-29 14:40:28 发布

今心木目

最新推荐文章于 2021-04-29 14:40:28 发布

阅读量238

点赞数

分类专栏： Sqoop 文章标签： Sqoop 1.4.7 CentOS 7 数据迁移 Hadoop生态框架

本文链接：https://blog.csdn.net/a1051826842/article/details/102788399

版权

Sqoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Sqoop 1.4.7 入门基础

资源
安装测试
使用案例

功能：将结构化数据库表对象，迁移（导入导出）到 Hadoop生态上（的大数据仓库），或反向
同样的，在迁移过程中，可以对数据进行操作，例如筛选。

本质：就是 MapReduce 的 MapTask，将导入导出命令转化为固定的 MapReduce 模板

注意：导入导出，是以 Hadoop生态视角出发的，从Hadoop生态导出，导入到Hadoop生态；
这个框架还比较简单，处于起步的顶级项目，功能也不是很完善，尤其是不存在则创建表功能8行。

资源

Sqoop官网：http://sqoop.apache.org/
官·下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7
官·文档：http://sqoop.apache.org/docs/1.4.7/index.html

安装测试

下载解压

tar -zxvf /opt/software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module
mv /opt/module/sqoop-1.4.7.bin_hadoop-2.6.0 /opt/module/sqoop-1.4.7_hadoop-2.6.0

配置文件

cp conf/sqoop-env-template.sh conf/sqoop-env.sh
vim conf/sqoop-env.sh
>>
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive-1.2.1
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf
export HBASE_HOME=/opt/module/hbase-1.3.1
<<
sudo vim /etc/profile
>>
##SQOOP_HOME 可加可不加，就是方便，在 ~ 家目录使用sqoop命令
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
<<

拷贝驱动

# 1.拷贝 MySQL 连接驱动
cp /opt/module/hive-1.2.1/lib/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.7_hadoop-2.6.0/lib/
# 2.拷贝 hive 连接相关Jar包
cp /opt/module/hive-1.2.1/lib/* /opt/module/sqoop-1.4.7_hadoop-2.6.0/lib

测试验证

# 测试Sqoop，出现警告无所谓
sqoop help
# 测试Sqoop 连接 MySQL，出现数据库列表
sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password Root123456

使用案例

RDBMS 导入

MySQL --> HDFS

mysql

create database company;
create table company.staff(id int(4) primary key not null auto_increment, name varchar(255));
insert into company.staff(name) values('Male');
insert into company.staff(name) values('Female');
insert into company.staff(name) values('Male');
insert into company.staff(name) values('Female');
insert into company.staff(name) values('Male');
insert into company.staff(name) values('Female');
insert into company.staff(name) values('Male');
insert into company.staff(name) values('Female');

sqoop

①表数据（行列）全部导入

sqoop import --connect jdbc:mysql://hadoop102:3306/company --username root --password Root123456 --table staff --target-dir /company --delete-target-dir --num-mappers 1 --fields-terminated-by "\t" --split-by id

选项解析：
--connect MySQL URL(/database)
--un MySQL用户名
--pw MySQL密码
--target-dir HDFS目的地路径
--delete-target-dir 如果目的地路径已存在，则删除不报错
--num-mappers 1 一个mapTask执行==>意味着对表数据不split撕裂
--fields-terminated-by MySQL表中列数据以符号间隔输出
--table RDBMS的database.tableName
--split-by 以某列作为横向撕裂表的依据（默认值为主键）

# 导入结果：	_SUCCESS + 	part-m-00000 （MapReduce运行结果）
# --num-mappers 设定为1，那么只有一个文件结果，如果是多个mapTask，则根据 --split-by 列值 
#（列值如果是数字）则根据 起始值 + 结束值 / num-mappers 进行简单横向切割，且不做任何其他倾斜处理

②表数据（行列）部分导入 / 查询导入

sqoop import --connect jdbc:mysql://hadoop102:3306/company --username root --password Root123456 --target-dir /company --delete-target-dir --num-mappers 2 --fields-terminated-by "\t" --query 'select id,name from staff where id<=10 and $CONDITIONS' --split-by id

选项解析：
--c --u --p --t --d --n --f --s 略过
--query '' 通过SQL语句，对行 及 列对象 进行筛选导入
# 1.--query must contain '$CONDITIONS' in WHERE clause.
# 2.And must assign target-dir split-by,They have no default value at this time
# 3.query后如果使用""，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量

③表数据（列筛选）导入

sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password Root123456 \
--target-dir /company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,name \
--table staff

选项解析：
--c --u --p --t --d --n --f --s 略过
--colums 将 指定列 从MySQL导入至 HDFS

④表数据（行筛选）导入

sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

选项解析：
--c --u --p --t --d --n --f --s 略过
--where "" 将 符合where条件的行 从MySQL导入至 HDFS

MySQL --> Hive

其实，这个命令很不常用，通常情况下，是先MySQL --> HDFS上，再直接通过Hive的 Load 函数直接加载至Hive表中。

首先Hive中必须存在目标表，并且注意创建表时指定的列分隔符，默认情况下列分隔符并不是 ‘\t’

create table if not exists staff_hive(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile;

执行 Sqoop shell 命令

sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password Root123456 \
--table staff \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--hive-import \
--hive-overwrite \
--hive-table staff_hive

选项解析：
--c --u --p --t --n --f 略过
--hive-import 导入模式 hive
--hive-overwrite 导入模式 全部覆写
--hive-table 设定 Hive 已存在的表名
# 整个过程一共分2步：1，将数据临时导入HDFS中；2，将HDFS数据迁移到Hive仓库HDFS路径下
# 临时目录为：/user/atguigu/tableName，注意，--create-hive-table 毫无卵用

MySQL --> HBase

同上，这个命令也不常用。并且需要先在 HBase 存在目标表。

create 'hbase_company','info'

执行 Sqoop shell 命令

sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password Root123456 \
--table staff \
--columns "id,name" \
--column-family "info" \
--hbase-row-key "id" \
--hbase-table "staff_hbase" \
--num-mappers 1 \
--split-by id

选项解析：
--c --u --p --t --n --s 略过
--columns "" RDBMS中表的多列，使用逗号间隔
--column-family "" 指定单个列族名
--hbase-row-key "" 指定RDBMS中表的哪列是 HBase中的行key
--hbase-table "" 指定在HBase中的表名
# sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能，也就是同hive的create table毫无卵用

HDFS数仓导出

从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据

Hive/HDFS --> RDBMS

需要先在MySQL创建库及表

create database company;
create table company.staff(id int(4) primary key not null auto_increment, name varchar(255));

执行 Sqoop shell 命令

sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password Root123456 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

选项解析：
--c u p t n i 省略
--export-dir 指定Hive表 所在 HDFS 路径。所以，这也就是 HDFS文件 导出到 RDBMS
# Mysql中如果表不存在，不会自动创建

Sqoop脚本

HDFS --> MySQL

# 1.创建.opt文件
mkdir /opt/module/sqoop-1.4.7/opt
vim /opt/module/sqoop-1.4.7/opt/job_HDFS2RDBMS.opt
>>
# 2.编写Sqoop脚本，shell 选项的 回车 写而已。
export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
Root123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"
<<
# 3.调用sqoop --options-file选项 执行 sqoop脚本
sqoop --options-file opt/job_HDFS2RDBMS.opt