Sqoop数据迁移

最新推荐文章于 2023-01-21 00:10:42 发布
最新推荐文章于 2023-01-21 00:10:42 发布
阅读量282 收藏
点赞数 1
分类专栏： HBase 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48185778/article/details/108812998
版权

目录

1、Sqoop简介

Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：

  • 导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；
  • 导出数据：从 分布式文件系统中导出数据到关系数据库中。
    其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移。

2、Sqoop基本命令

2.1查看所有命令

sqoop help

在这里插入图片描述

2.2查看某条命令的具体使用方法

命令格式1：sqoop help 命令名
命令格式2：sqoop-命令名 --help

#命令格式1
sqoop help import
#命令格式2
sqoop-import --help

3、Sqoop与MySQL

3.1查询MySQL所有数据库

通常用于 Sqoop 与 MySQL 连通测试：

sqoop list-databases \
--connect jdbc:mysql://hadoop20:3306/ \
--username root \
--password ok

在这里插入图片描述

3.2查询指定数据库中所有数据表

sqoop list-tables \
--connect jdbc:mysql://hadoop20:3306/库名 \
--username root \
--password ok

4、Sqoop与HDFS

4.1MySQL数据导入到HDFS

4.1.1全表导入

示例：导出 hive 数据库中的 TBLS表到 HDFS 的 /data/tbls 目录下，如果导入目录存在则先删除再导入，使用 3 个 map tasks 并行导入。

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--table TBLS \			#待导入的表
--username root \		
--password ok \
--delete-target-dir \	#目标目录存在则先删除
--target-dir /data/tbls \	#导入的目标目录
-m 3				#指定并行执行的 map tasks 数量

需要注意是–m 3，代表使用3个map tasks并行导入，数据默认以表的主键列作为拆分依据，如果没有主键，可以使用--split-by <column-name>指明拆分数据的参考列（可参考4.1.4）

导入验证:

#查看导入后的目录
hdfs dfs -ls -R /data/tbls
#查看导入内容
hdfs dfs -cat /data/tbls/part-m-00000

在这里插入图片描述

可能遇到的错误
在这里插入图片描述

是因为sqoop的lib目录下缺少java-json.jar，下载该jar包并放入lib目录下即可；
进入到sqoop的lib目录下：cd /opt/sqoop/lib，下载该jar包并解压。

wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar.zip
yum -y install unzip
unzip java-json.jar.zip

4.1.2通过Where语句过滤导入

有时候并不需要全表导入，而是符合条件的才导入，这时候可以使用where条件过滤数据。

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--table TBLS \
--where "owner='root'" \		#过滤条件
--username root \
--password ok \
--delete-target-dir \
--target-dir /data/tbls2 \
-m 3

4.1.3通过COLUMNS过滤导入

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--table TBLS \
--columns "tbl_id,owner,tbl_name,tbl_type" \	#指定导入列
--where "owner='root'" \
--username root \
--password ok \
--delete-target-dir \	
--target-dir /data/tbls3 \
-m 3

4.1.4使用query方式导入

将查询到的结果导入到HDFS。

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--query "select * from TBLS where owner='root' and \$CONDITIONS"  \	#所有查询都应该以\$CONDITIONS结束;sqoop内部使用该条件将记录范围分发给所有Mapper
--username root \
--password ok \
--split-by tbl_id \	#指明拆分数据的参考列
--delete-target-dir \	
--target-dir /data/tbls4 \
-m 3

4.1.5增量导入

Incremental指定增量导入的模式
append：追加数据记录，要求参考列的值必须是递增的，所有大于last-value的值都会被导入。
lastmodified：可追加更新的数据，要求参考列的值必须是timestamp类型，且插入数据时候要在参考列插入当前时间戳，更新数据时也要更新参考列的时间戳，所有时间晚于last-value的数据都会被导入。

sqoop import \
--connect jdbc:mysql://hadoop20:3306/student \
--username root \
--password ok \
--table student \
--incremental append \		#增量导入方式为append,追加数据至已经存在的HDFS数据集
--check-column sid \		#指定递增的列
--last-value '5' \		#指定上一次导入的最大值
--target-dir /data/stu \
-m3

增量导入的逻辑就是，依靠参照列找出哪些是增量数据并导入，也可以用query方式导入。

4.1.6 拓展：导入文件格式和Sqoop-job

1、导入文件格式
导入时可以指定文件格式参数

  • –as-textfile 导入数据为text文件（默认）
  • –as-avrodatafile 导入数据为avro文件
  • –as-sequencefile 导入数据为sequence文件
  • –as-parquetfile 导入数据为parquet文件
sqoop-import \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--table TBLS \
--username root \
--password ok \
--delete-target-dir \
--target-dir /data/tbls \
-m 3
--as-sequencefile

2、sqoop job
Sqoop可以定义保存job，从而简化此过程，保存的job记录执行Sqoop命令所需的配置信息
在这里插入图片描述

# 1、创建sqoop job
sqoop job \
--create order2HDFS \
-- import \           #注意import前面有个空格
--connect jdbc:mysql://hadoop60:3306/retail_db \
--username root \
--password ok \
--table orders \
--delete-target-dir \
--target-dir /data/retail_db/orders \
-m2

# 2、通过exec执行job
sqoop job --exec order2HDFS
#运行后需要输入mysql密码

4.2HDFS数据导出到MySQL

示例：将HDFS上/data/tbls目录下的数据导出到MySQL的TBLS_from_HDFS的表中，TBLS_from_HDFS需要存在才能导进去。

sqoop-export \
--connect jdbc:mysql://hadoop20:3306/hive \
--driver com.mysql.jdbc.Driver \
--table TBLS_from_HDFS \	#导出的数据存储在TBLS_from_HDFS表中
--username root \
--password ok \
--export-dir /data/tbls \	#待导入的数据路径
-m 3

表必须预先创建，建表语句如下：

create table TBLS_from_HDFS like TBLS

5、Sqoop与Hive

5.1MySQL数据导入到Hive

  1. 导jar包：将hive/lib目录下的hive-common和hive-exec导入到sqoop/lib目录下。
cp /opt/hive/lib/hive-common-1.1.0-cdh5.14.2.jar /opt/sqoop/lib
cp /opt/hive/lib/hive-exec-1.1.0-cdh5.14.2.jar /opt/sqoop/lib

如果不导入jar包，执行会报错java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf。

  1. 导入命令
    Sqoop 导入数据到 Hive 是通过先将数据导入到 HDFS 上的临时目录，然后再将数据从 HDFS 上 Load 到 Hive 中，最后将临时目录删除。可以使用 target-dir 来指定临时目录。
sqoop import \
#sql层
--connect ... \
--username... \
--password ... \
--table ... \
# hive层
--hive-import \
[--create-hive-table...\]
--hive-database ... \
--hive-table... \
[--hive-overwrite \]
-m 1

示例：

sqoop import \
--connect jdbc:mysql://hadoop20:3306/student \	#连接student库
--username root \
--password ok \
--table student \		#待导入的表
--delete-target-dir \		#如果临时目录存在删除		
--target-dir /data/stu \	#临时目录位置（可以不指定临时目录，会有默认的临时目录）
--hive-import \			#导入到hive
--hive-database sqooptest \	#导入hive的sqooptest数据库，数据库需要提前创建
--hive-table stu \		#导入到hive的表名
--hive-overwrite \		#如果hive表中数据则覆盖
-m 1				#并行度
  1. 导入到 Hive 中的 sqooptest 数据库需要预先创建，不指定则默认使用 Hive 中的 default 库。
#创建sqooptest数据库
hive> create database sqooptest;
  1. 导入验证：
#查看表中数据
hive>select * from sqooptest.stu;

5.2MySQL数据导入到Hive分区表

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/student \
--table products \
--where "product_category_id='2'" \
--username root \
--password ok \
--hive-import \
--hive-database sqooptest \
--hive-table products_p \
--split-by product_category_id \
--hive-partition-key "id" \		#指定分区字段，注意不能与表中已有的字段名相同
--hive-partition-value "2" \		#指定分区值
--hive-overwrite \
-m 2

5.3 Hive 导出数据到MySQL

由于 Hive 的数据是存储在 HDFS 上的，所以 Hive 导入数据到 MySQL，实际上就是 HDFS 导入数据到 MySQL。

  1. 查看Hive表在HDFS的存储位置
#进入对应的数据库
hive> use sqooptest;
#查看表信息
hive> desc formatted stu;

location属性为其存储位置：
在这里插入图片描述

  1. 执行导出命令
sqoop export \
--connect jdbc:mysql://hadoop20:3306/student \
--username root \
--password ok \
--table stu_from_hive \
--export-dir /opt/hive/warehouse/sqooptest.db/stu \
--fields-terminated-by '\001' \	#需要注意的是hive中默认的分隔符为\001
-m 2

MySQL 中的表需要预先创建：

create table stu_from_hive like student;

6、Sqoop与HBase

暂无命令能够从HBase直接导出数据到RDBMS。

6.1MySQL导入数据到HBase

将student库中的product表导入到HBase上的product表中，使用原表的主键product_id作为Rowkey，原表的product_name,product_price在prod列簇中，如果需要将剩下的列导到其他列簇下，需要多次导入，不支持一次指定多个列簇。

sqoop-import \
--connect jdbc:mysql://hadoop20:3306/student \
--username root \
--password ok \
--table products \
--columns "product_id,product_name,product_price" \	#指定列 
--hbase-table product \					#hbase表名称，表需要预先创建
--column-family prod \					#指定列导入到prod列簇下
--hbase-row-key product_id \				#使用原表的product_id作为RowKey
-m 1

导入的 HBase 表需要预先创建：

hbase> create 'product','prod'

导入验证
使用scan查看表数据：
在这里插入图片描述

小财迷，嘻嘻
关注
专栏目录
Sqoop 数据迁移
qq_36524213的博客
09-16 98
Sqoop 数据迁移
大数据技术应用 sqoop数据迁移
m0_51679196的博客
09-05 1008
sqoop数据迁移
sqoop数据迁移
tianqinglei的博客
07-20 583
1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 2.1 sqoop安装 安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压
sqoop基础
weixin_42557879的博客
10-20 115
查看所有的数据库 sqoop list-databases -connect jdbc:mysql://hadoop1:3306 -username root -password root 查看text库中所有表 sqoop list-tables -connect jdbc:mysql://hadoop1:3306/test -username root -password root 查看ysy...
Sqoop数据迁移原理及基本框架
monstarerv的博客
12-22 586
目录 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流。可以把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。   Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率。   如果要用Sqo
大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移_lk_edit.pptx
01-01
【大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移】是针对大数据领域的一门课程，主要讲解如何使用Sqoop工具进行数据在Hadoop集群与关系型数据库之间的迁移。Sqoop是一款由Apache开发的开源软件，专门用于...
快速学习-Sqoop的简单使用案例
逍遥云恋
03-19 367
第4章 Sqoop的简单使用案例 4.1 导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 4.1.1 RDBMS到HDFS 确定Mysql服务开启正常 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p000000 mysql> create d...
sqoop介绍及数据迁移
Joie_TJ的博客
09-29 297
sqoop介绍及数据迁移1、sqoop概述2、sqoop常用命令3、sqoop数据迁移3.1从RDB导入数据到HDFS3.2从RDB导入数据到Hive3.3从RDB导入数据到HBase 1、sqoop概述 在上次的博客中，我们已经装好了sqoop，并且运行成功了，若是，有同学不清楚安装流程，请参考博客：sqoop安装及配置。 那么sqoop到底是什么呢，作用是什么，我们现在就来看一看： Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具 将数据从RDBMS导入到HDFS HDFS、Hiv
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql
我玩的很开心的博客
07-23 2066
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop job任务 一、Sqoop概述 Sqoop是什么？ Sqoop是一个用
大数据技术之Hadoop(十)——Sqoop数据迁移
weixin_63507910的博客
01-21 1663
Sqoop 是 Apache 旗下的一款开源工具，该项目开始于2009年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速迭代开发，在2013年，独立成为 Apache 的一个顶级开源项目。Sqoop 主要用于在 Hadoop 和关系数据库或大型机器之间传输数据，可以使用 Sqoop 工具将数据从关系数据库管理系统导入到 Hadoop 分布式文件系统中，或者将 Hadoop 中的数据转换导出到关系数据库管理系统。
sqoop数据迁移命令
最新发布
06-14
Sqoop是Apache的一个开源工具，用于在Hadoop和关系型数据库（如MySQL、Oracle等）之间进行数据迁移。它提供了一种简单的方式来执行ETL（提取-转换-加载）任务，支持将结构化的数据从RDBMS迁移到Hadoop的HDFS或创建Hive表，反之亦然。 Sqoop的基本数据迁移命令格式如下： ```bash sqoop [options] import|export [command options] ``` - `import`命令用于从RDBMS导数据到Hadoop，例如： ```bash sqoop import --connect "jdbc:mysql://localhost/test" \ --username root \ --password password \ --table my_table \ --target-dir /user/hadoop/data ``` - `export`命令用于将Hadoop的数据导出到RDBMS，例如： ```bash sqoop export --connect "jdbc:mysql://localhost/test" \ --username root \ --password password \ --table my_table \ --incremental append ``` - `--connect`参数指定数据库连接字符串， - `--username`和`--password`用于数据库认证， - `--table`指定要迁移的表名， - `--target-dir`或`--incremental`用于指定目标目录或增量导出选项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值