Sqoop知识点总结

最新推荐文章于 2024-08-16 21:15:52 发布
最新推荐文章于 2024-08-16 21:15:52 发布
阅读量781 收藏 9
点赞数
分类专栏： Sqoop 文章标签： sqoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45557389/article/details/107728760
版权

一、Sqoop概述

1.1 Sqoop简介

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（如MySQL，Oracle，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop2的最新版本1.99.7；注意：2与1不兼容，且特征不完整，它并不打算用于生产部署；

Sqoop1使用最多。

1.2 Sqoop原理

将导入或导出命令翻译成mapreduce程序来实现；

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

1.3 Sqoop架构

sqoop架构非常简单，是hadoop生态系统架构最简单的框架。

sqoop1由client端直接接入hadoop，任务通过解析生成对应的mapreduce执行；

sqoop1：仅有一个客户端，架构简单明了，部署即用，使用门槛比较低；但是耦合性强，用户密码暴露不安全；

在这里插入图片描述

sqoop2：服务端部署，运行，提供client、rest api、web ui等入口，connector集中管理，rdbms账户控制更安全，但是sqoop2仅负责数据的读写操作，架构相对复杂。

在这里插入图片描述

1.4 Sqoop1导入

把数据从数据库导入到hdfs中(大数据生态圈)

在这里插入图片描述

1.5 Sqoop1导出

把数据从大数据生态圈(hdfs)导出到数据库里面

在这里插入图片描述

二、Sqoop工具

选项含义说明
–connect 指定JDBC连接字符串
–connection-manager 指定要使用的连接管理器类
–driver 指定要使用的JDBC驱动类
–hadoop-mapred-home 指定HADOOP_MAPRED_HOME路径
–help万能帮助
–password-file设置用于存放认证的密码信息文件的路径
-P从控制台读取输入的密码
–password 设置认证密码
–username 设置认证用户名
–verbose打印详细的运行信息
–connection-param-file 指定存储数据库连接参数的属性文件

2.1 导入工具：import

选项含义说明
–append将数据追加到HDFS上一个已存在的数据集上
–as-avrodatafile将数据导入到Avro数据文件
–as-sequencefile将数据导入到SequenceFile
–as-textfile将数据导入到普通文本文件（默认）
–boundary-query 边界查询，用于创建分片（InputSplit）
–columns <col,col,col…>从表中导出指定的一组列的数据
–delete-target-dir如果指定目录存在，则先删除掉
–direct使用直接导入模式（优化导入速度）
–direct-split-size 分割输入stream的字节大小（在直接导入模式下）
–fetch-size 从数据库中批量读取记录数
–inline-lob-limit 设置内联的LOB对象的大小
-m,–num-mappers 使用n个map任务并行导入数据，默认是３个
-e,–query 导入的查询语句
–split-by 指定按照哪个列去分割数据
–table 导入的源表表名
–target-dir 导入HDFS的目标路径
–warehouse-dir HDFS存放表的根路径
–where 指定导出时所使用的查询条件
-z,–compress启用压缩
–compression-codec 指定Hadoop的codec方式（默认gzip）
–null-string 如果指定列为字符串类型，使用指定字符串替换值为null的该类列的值
–null-non-string 如果指定列为非字符串类型，使用指定字符串替换值为null的该类列的值

2.2 导出工具：export

选项含义说明
–validate 启用数据副本验证功能，仅支持单表拷贝，可以指定验证使用的实现类
–validation-threshold 指定验证门限所使用的类
–direct使用直接导出模式（优化速度）
–export-dir 导出过程中HDFS源路径
–m,–num-mappers 使用n个map任务并行导出
–table 导出的目的表名称
–call 导出数据调用的指定存储过程名
–update-key 更新参考的列名称，多个列名使用逗号分隔
–update-mode 指定更新策略，包括：updateonly（默认）、allowinsert
–input-null-string 使用指定字符串，替换字符串类型值为null的列
–input-null-non-string 使用指定字符串，替换非字符串类型值为null的列
–staging-table 在数据导出到数据库之前，数据临时存放的表名称
–clear-staging-table清除工作区中临时存放的数据
–batch使用批量模式导出

三、Sqoop1

修改配置文件（复制conf/sqoop-env-template.sh为sqoop-env.sh）
在这里插入图片描述
验证sqoop：bin/sqoop help

测试sqoop是否能够成功连接数据库

bin/sqoop list-databases --connector jdbc:mysql://node7-1:3306/ --username root --password 123456

3.1 导入数据：import

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

3.1.1 RDBMS到HDFS

导入mysql和hadoop_mapper的jar包

全部导入

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--table a_users \
--target-dir = /sqoop1/a_users \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated "\t"

查询导入

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--target-dir = /sqoop1/a_users \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated "\t" \
# query和table是互斥的
# $CONDITIONS：sql语句的执行条件，由sqoop自己控制
--query 'select name,sex from a_users where id <=1 and $CONDITIONS;'
# 拆分的这一列不能重复，一般是主键

如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

导入指定列

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--target-dir = /sqoop1/a_users \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated "\t" \
--column id,sex \
--table a_users

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

使用sqoop关键字筛选查询导入数据

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--target-dir = /sqoop1/a_users \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated "\t" \
--table a_users \
--where "id=1"
3.1.2 RDBMS到HIVE

导入hive-common-3.1.1.jar的jar包

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--table a_users \
--num-mappers 1 \
--fields-terminated "\t" \
--hive-overwrite \
--hive-table hive_users

该过程分为两步：第一步将数据导入到HDFS；第二步将导入到HDFS的数据迁移到Hive仓库。

3.1.３ RDBMS到HBase

导入hbase-client-2.2.5.jar的jar包

sqoop1.4.6只支持HBase1.0.1之前的版本的自动化创建

bin/sqoop import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--table a_users \
--columns "id,name,sex" \
--columns-family 'cf' \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_users"
--num-mappers 1 \
--split-by id

提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能
解决方案：手动创建HBase表

3.2 导出数据：export

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

HIVE/HDFS到RDBMS

bin/sqoop export \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--verbose \
--table a_users \
--export-dir /sqoop/a_users \
--input-fields-terminated-by "/t"

MySQL中如果表不存在，不会自动创建

3.3 脚本打包

  1. 创建job

    bin/sqoop job --create myjob --import \
--connect jdbc:mysql://192.168.56.1:3306/userscenter?serverTimezone=GMT%2B8 \
--username root \
--password 123456 \
--verbose \
--fetch-size 30 \
--query 'select * from a_users where $CONDITIONS' \
--split-by id \
--target-dir = /sqoop1/a_users

  2. 查看所有job

    bin/sqoop job --list

  3. 查看单个job

    bin/sqoop job --show myjob

  4. 执行job

    bin/sqoop job -exec myjob

  5. 删除job

    bin/sqoop job --delete myjob

四、Sqoop2

4.1 服务器端

  1. 解压，重命名

  2. 修改hadoop中的配置文件（core-site.xml）

    <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

  3. 导入、替换jar包

    将mysql的驱动包放到%Sqoop_home%\server\lib中；

    将hadoop\share\hadoop\common\lib**guava-27.0-jre.jar**拷贝到/data/sqoop/sqoop-2/server/lib和/data/sqoop/sqoop-2/tools/lib中，删除老的，留下新的；

    将comm-lang2.5拷贝到hadoop集群中。

  4. 修改配置文件（conf/sqoop.properties）

    org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/data/hadoop/hadoop/etc/hadoop/

  5. 修改配置文件（bin/sqoop.sh）

    配置HADOOP_HOME环境变量

  6. 初始化，并且验证

    bin/sqoop2-tool verify

  7. 启动服务

    bin/sqoop2-server start

4.2 工具

把元数据从derby导出

bin/sqoop2-tool repositorydump -o ~/data.json

元数据导入

sqoop2-tool repositoryload -i ~/data.json

4.3 创建link导数据

4.3.1 客户端

启动客户端

bin/sqoop2-shell

启动客户端图形界面服务

set option --name verbose --value true

set server --host node7-4 --port 12000 --webapp sqoop

检查是否连接成功

show version -all

4.3.2 创建hdfs link

create link --connector hdfs-connector
在这里插入图片描述

4.3.3 创建mysql link

create link --connector generic-jdbc-connector
在这里插入图片描述

4.3.4 创建一个job

  1. 从mysql link到hdfs link

    create job --from mysql --to hdfs 在这里插入图片描述

  2. 从hdfs link到mysql link

    create job --from hdfs --to mysql
    在这里插入图片描述

  3. 标注

    表名和表sql语句是相互排斥的。如果表名提供，则表sql语句不应该提供；如果表sql语句提供，则表名不应该提供；

    表列名只应在表名提供的情况下提供；

    如果有具有类似名称的列，则需要起列别名。

4.3.5 启动job

启动job：start job --name myjob

查看任务的状态：status job --name myjob

删除任务：delete job --name myjob

「miraitowa」
关注
专栏目录
sqoop知识点总结(全)
静待花开
07-03 2万+
1、概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等。2、工作机制将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和out...
Sqoop知识点（两万字总结）
默主归沙的博客
03-27 1018
一、sqoop概述和安装 1.1 sqoop的简介 1. sqoop是apache基金会的一个顶级项目（已经退役，） 2. sqoop是一款可以将数据在RDBMS和Hadoop生态中导入导出的项目 3. sqoop最后一个版本是1.4.7 apache有一个专门管理退役软件的仓库。 退役原因： 1. 软件开发的不够好，弃用了。 2. 没什么提升空间了，已经趋近于完美了，不再更新了，apache对这样的项目，如果发现一两年左右都没有更新时，就会开会决定移动到退役仓库中。 1.2
Sqoop学习之路 （一）
weixin_34301307的博客
04-15 910
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HD...
大数据ETL工具（Sqoop, DataX, Kettle）对比
最新发布
m0_70882914的博客
08-16 1893
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于开发或者运维人员来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少，这里我们要学习的ETL工具就是Kettle！Sqoop（SQL to Hadoop）是一个用于在Apache Hadoop和关系型数据库之间进行数据传输的工具。它允许用户将结构化数据从关系型数据库（如MySQL、Oracle、SQL Server等）导入到HDFS或Hive表。
2021-12-27 迈向程序猿的第五十五步
qq_48654729的博客
12-27 1517
目录 一、sqoop概述和安装 1.1 sqoop的简介 1.2 sqoop的原理 1.3 sqoop的安装 二、常用指令介绍 2.1 查看常用指令 2.2 指令帮助信息 2.3 去官网上查询 三、sqoop的基本用法(重点) 3.1 查询数据库和表 3.1.1 查看数据库：sqoop list-databases 3.1.2 查看表 3.2 Sqoop的Import 3.2.1 数据准备 3.2.2 mysql->hdfs 3.2.3 mysql–>hive
sqoop知识点
weixin_57821489的博客
12-08 541
一、Sqoop概述 1.1 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（如MySQL，Oracle，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop2的最新版本1.99.7；注意：2与1不兼容，且特征不完整，它并不打算用于生产部署； Sqoop1使用最多。 1.2 Sqoop原理 将导入或导出命令翻译成mapred
sqoop使用时一些小知识点
qq_19917081的博客
03-29 300
1.mysql数据库里面的字段是 tinyint 类型，通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法：在连接上加上一句话tinyInt1isBit=false 即 jdbc:mysql://localhost/test?tinyInt1isBit=false2.如果你指定了\n为sqoop导入的换行符，mysql的某个string字段的值如果包含了\n, 则会导...
sqoop的安装及操作和知识点总结
Null的博客
04-12 766
1.什么是sqoop：数据迁移工具工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序从别的地方到大数据生态体系是迁入（导入）从大数据生态体系到别的地方是迁出（导出）2.sqoop的安装：    安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境    安装包下载地址 http://ftp.wayne.edu/apache/sqoop/    安装包：...
sqoop和flume简单知识点总结
weixin_57263427的博客
12-09 874
1.Sqoop简介 Apache Sqoop(SQL-to-Hadoop)在RDBMS和Hadoop之间进行高效的大数据交流(Hadoop与传统的数据库进行数据的交互)。在Sqoop的帮助下，可以将一个关系型数据库中的数据导入到Hadoop的hdfs中，也可以将hdfs的数据导出到关系型数据库中。 导入:关系型数据库(MySQL，Oracle…)导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统中。 导出:从Hadoop中导出数据到关系型数据库中。 2.Sqoop安装地址:link 其中上
HDFS知识点总结
02-24
学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。HDFS是什么：HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是...
Hadoop数据传输工具：Sqoop
yunpiao123456的专栏
05-31 564
Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外，Sqoop 也提供了一些诸如查看数据库表等实用的小工具。
sqoop的原理及概念
10-17
正如标题所述，这是一个介绍sqoop原理及工作流程等概念的专业文档
sqoop安装详解以及sqoop介绍
07-04
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop：是一个工具，主要用于导入导出，实现MySQL到Hadoop之间数据的转换 2、导入数据：从结构化数据（Mysql,oracle,db2,）导入到半结构化或非结构化hadoop中（HDFS、HIVE、HBASE） 3、导出数据：从haoop中将数据导出到关系数据库中MySql
Sqoop用户指南
10-22
Sqoop用户指南中文版
Sqoop 常用方法及参数总结
01-08
常用的sqoop操作方法，主要是import与export的常用参数
sqoop知识整理
weixin_34219944的博客
04-29 219
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop系列十九——sqoop知识点总结
heartless_killer的博客
11-12 230
1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。实现hadoop 存储系统和关系型数据库的数据互相迁移； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等。、 2、工作机制 将导入或导出命令翻译成mapreduce程序来实现。...
sqoop总结
index_test的博客
09-08 951
sqoop常用知识总结
sqoop学习总结
weixin_34041003的博客
07-06 179
sqoop是Apache的一个开源项目，属于Hadoop家族成员，核心功能是关系型数据库和Hadoop之间的数据转换与传输，从名字大概能够看出来：sql+hadoop=sqoop。sqoop目前发展处两个主版本，分别是sqoop1和sqoop2，sqoop1的版本号是1.4.x，sqoop2的版本号是1.99.x，这个编号有点儿意思，尚不...
《yiee数据运营系统》附录：Sqoop与图计算知识点总结
"30_多易教育之《yiee数据运营系统》附录：扩展知识点汇总总结篇，涵盖Sqoop教程与图计算基本概念，包括Sqoop的概述、工作机制、安装步骤以及基本命令，图计算的核心术语、图数据库和SparkGraphX，以及图计算的入门...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值