sqoop数据迁移

最新推荐文章于 2022-07-27 21:56:39 发布
最新推荐文章于 2022-07-27 21:56:39 发布
阅读量612 收藏
点赞数
分类专栏： 大数据 文章标签： 数据库 mysql hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45788152/article/details/105750072
版权
本文介绍了sqoop作为Apache旗下的数据迁移工具，用于在Hadoop和关系数据库之间传输数据。详细讲解了sqoop的安装步骤、数据导入到HDFS、HIVE以及增量导入的方法，并探讨了数据导出到MySQL的过程。
摘要由CSDN通过智能技术生成

文章目录

概述

1、sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等
在这里插入图片描述

2、sqoop1与sqoop2架构对比

sqoop1架构
在这里插入图片描述
sqoop2架构
在这里插入图片描述

3、工作机制

将导入或导出命令翻译成mapreduce程序来实现
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境

1、下载并解压

下载地址
http://archive.cloudera.com/cdh5/cdh/5/
sqoop1版本详细下载地址
http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz
sqoop2版本详细下载地址
http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0.tar.gz

我们这里使用sqoop1的版本，下载之后上传到/export/softwares目录下，然后进行解压
cd /export/softwares
tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C …/servers/

2、修改配置文件

cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0

3、加入额外的依赖包

sqoop的使用需要添加两个额外的依赖包，一个是mysql的驱动包，一个是java-json的的依赖包，不然就会报错
mysql-connector-java-5.1.40.jar
java-json.jar
将这个两个jar包添加到sqoop的lib目录下

4、验证启动

cd /export/servers/sqoop-1.4.6-cdh5.14.0
bin/sqoop-version
在这里插入图片描述

Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）
列举出所有的数据库
命令行查看帮助
bin/sqoop list-databases --help

列出win7主机所有的数据库
bin/sqoop list-databases --connect jdbc:mysql://192.168.2.169:3306/ --username root --password 123456

查看某一个数据库下面的所有数据表
bin/sqoop list-tables --connect jdbc:mysql://192.168.2.169:3306/userdb --username root --password 123456

表数据

在mysql中有一个库userdb中三个表：emp, emp_add和emp_conn

  • 表emp:
    id name deg salary dept
    1201 gopal manager 50,000 TP
    1202 manisha Proof reader 50,000 TP
    1203 khalil php dev 30,000 AC
    1204 prasanth php dev 30,000 AC
    1205 kranthi admin 20,000 TP
  • 表emp_add:
    id hno street city
    1201 288A vgiri jublee
    1202 108I aoc sec-bad
    1203 144Z pgutta hyd
    1204 78B old city sec-bad
    1205 720X hitec sec-bad
  • 表emp_conn:
    id phno email
    1201 2356742 gopal@tp.com
    1202 1661663 manisha@tp.com
    1203 8887776 khalil@ac.com
    1204 9988774 prasanth@ac.com
    1205 1231231 kranthi@tp.com

1、导入数据库表数据到HDFS

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。
bin/sqoop import --connect jdbc:mysql:// 192.168.2.169:3306/userdb --password 123456 --username root --table emp --m 1

如果成功执行，那么会得到下面的输出。
在这里插入图片描述
为了验证在HDFS导入的数据，请使用以下命令查看导入的数据
hdfs dfs -ls /user/root/emp

2、导入到HDFS指定目录

在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。
使用参数 --target-dir来指定导出目的地，
使用参数—delete-target-dir来判断导出目录是否存在，如果存在就删掉
bin/sqoop import --connect jdbc:mysql://192.168.2.169:3306/userdb --username root --password 123456 --delete-target-dir --table emp --target-dir /sqoop/emp --m 1
查看导出的数据
hdfs dfs -text /sqoop/emp/part-m-00000
在这里插入图片描述
它会用逗号（，）分隔emp_add表的数据和字段。
1201,gopal,manager,50000,TP
1202,manisha,Proof reader,50000,TP
1203,khalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP

导入到hdfs指定目录并指定字段之间的分隔符

bin/sqoop import  --connect jdbc:mysql://192.168.2.169/userdb --username root --password 123456 --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'

查看文件内容
hdfs dfs -text /sqoop/emp2/part-m-00000
在这里插入图片描述

3、导入关系表到HIVE

第一步：拷贝jar包
将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷贝到sqoop的lib目录下
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/hive-exec-1.1.0-cdh5.14.0.jar /export/servers/sqoop-1.4.6-cdh5.14.0/lib/

第二步：准备hive数据库与表
将我们mysql当中的数据导入到hive表当中来

hive (default)> create database sqooptohive;
hive (default)> use sqooptohive;
hive (sqooptohive)> create external table emp_hive(id int,name string,deg string,salary int ,dept string) row format delimited fields terminated by '\001';

第三步：开始导入

bin/sqoop import --connect jdbc:mysql://192.168.2.169/userdb --username root --password 123456 --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1

第四步：hive表数据查看
select * from emp_hive;
在这里插入图片描述

4、导入关系表到hive并自动创建hive表

我们也可以通过命令来将我们的mysql的表直接导入到hive表当中去

bin/sqoop import --connect jdbc:mysql://192.168.2.169:3306/userdb --username root --password 123456 --table emp_conn --hive-import -m 1 --hive-database sqooptohive;

通过这个命令，我们可以直接将我们mysql表当中的数据以及表结构一起倒入到hive当中去
导入表数据子集
我们可以导入表的使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。
where子句的语法如下。
–where
按照条件进行查找，通过—where参数来查找表emp_add当中city字段的值为sec-bad的所有数据导入到hdfs上面去

bin/sqoop import \
--connect jdbc:mysql://192.168.2.169:3306/userdb \
--username root --password 123456 --table emp_add \
--target-dir /sqoop/emp_add -m 1  --delete-target-dir \
--where "city = 'sec-bad'"

5、sql语句查找导入hdfs

我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入

bin/sqoop import \
--connect jdbc:mysql://192.168.2.169:3306/userdb --username root --password 123456 \
--delete-target-dir -m 1 \
--query 'select phno from emp_conn where 1=1 and  $CONDITIONS' \
--target-dir /sqoop/emp_conn

查看hdfs数据内容
hdfs dfs -text /sqoop/emp_conn/part*
在这里插入图片描述

增量导入

在实际工作当中，数据的导入，很多时候都是只需要导入增量数据即可，并不需要将表中的数据全部导入到hive或者hdfs当中去，肯定会出现重复的数据的状况，所以我们一般都是选用一些字段进行增量的导入，为了支持增量的导入，sqoop也给我们考虑到了这种情况并且支持增量的导入数据
增量导入是仅导入新添加的表中的行的技术。
它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。
下面的语法用于Sqoop导入命令增量选项。

--incremental <mode>
--check-column <column name>
--last value <last check column value>

第一种增量导入使用上面的选项来实现

导入emp表当中id大于1202的所有数据
注意：增量导入的时候，一定不能加参数–delete-target-dir否则会报错

bin/sqoop import \
--connect jdbc:mysql://192.168.22.22:3306/userdb \
--username root \
--password admin \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment

查看数据内容

hdfs dfs -text /sqoop/increment/part*

在这里插入图片描述
在这里插入图片描述

第二种增量导入通过–where条件来实现

或者我们使用–where来进行控制数据的选取会更加精准

bin/sqoop import \
--connect jdbc:mysql://192.168.2.169:3306/userdb \
--username root \
--password 123456  \
--table emp \
--incremental append  \
--where "create_time > '2018-06-17 00:00:00' and is_delete='1' and create_time < '2018-06-17 23:59:59'" \
--target-dir /sqoop/incement2 \
--check-column id  \
--m 1

Sqoop的数据导出

将数据从HDFS把文件导出到RDBMS数据库
导出前，目标表必须存在于目标数据库中。
默认操作是从将文件中的数据使用INSERT语句插入到表中
更新模式下，是生成UPDATE语句更新表数据

hdfs导出到mysql

数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下

1201,gopal,manager,50000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1202,manisha,Proof reader,50000,TP,2018-06-15 18:54:32.0,2018-06-17 20:26:08.0,1
1203,khalil,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1204,prasanth,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 21:05:52.0,0
1205,kranthi,admin,20000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1

第一步：创建mysql表

CREATE TABLE `emp_out` (
  `id` INT(11) DEFAULT NULL,
  `name` VARCHAR(100) DEFAULT NULL,
  `deg` VARCHAR(100) DEFAULT NULL,
  `salary` INT(11) DEFAULT NULL,
  `dept` VARCHAR(10) DEFAULT NULL,
  `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` BIGINT(20) DEFAULT '1'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

第二步：执行导出命令

通过export来实现数据的导出，将hdfs的数据导出到mysql当中去

bin/sqoop export \
--connect jdbc:mysql://172.16.43.67:3306/userdb \
--username root --password admin \
--table emp_out \
--export-dir /sqoop/emp \
--input-fields-terminated-by ","

第三步：验证mysql表数据

在这里插入图片描述

Bitmao888
关注
专栏目录
大数据学习笔记45：Sqoop - 数据迁移工具
howard2005的专栏
02-10 660
文章目录一、Sqoop概述二、下载、安装和配置Sqoop1、下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2、将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机3、将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压到指定位置4、将解压目录更名为sqoop-1.4.75、下载mysql-connector-...
Sqoop 数据迁移
qq_36524213的博客
09-16 93
Sqoop 数据迁移
3.2.3 Sqoop 数据迁移工具, 导入数据import, MySQL到HDFS/Hive, 导出数据export,增量数据导入, Sqoop job,常用命令及参数
chengh1993的博客
01-01 719
目录 数据迁移工具 -- Sqoop 第一部分 Sqoop概述 第二部分 安装配置 第三部分 应用案例 第 1 节 导入数据import MySQL 到 HDFS MySQL 到 Hive 第 2 节 导出数据export 第 3 节 增量数据导入 变化数据捕获(CDC) Append方式 第 4 节 执行 job 第四部分 常用命令及参数 第 1 节 常用命令 第 2 节 常用参数 公用参数 -- 数据库连接 公用参数 -- import 公用参数 -- export
sqoop介绍及数据迁移
Joie_TJ的博客
09-29 292
sqoop介绍及数据迁移1、sqoop概述2、sqoop常用命令3、sqoop数据迁移3.1从RDB导入数据到HDFS3.2从RDB导入数据到Hive3.3从RDB导入数据到HBase 1、sqoop概述 在上次的博客中，我们已经装好了sqoop，并且运行成功了，若是，有同学不清楚安装流程，请参考博客：sqoop安装及配置。 那么sqoop到底是什么呢，作用是什么，我们现在就来看一看： Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具 将数据从RDBMS导入到HDFS HDFS、Hiv
Sqoop数据迁移原理及基本框架
monstarerv的博客
12-22 568
目录 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流。可以把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。   Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率。   如果要用Sqo
大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移_lk_edit.pptx
01-01
【大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移】是针对大数据领域的一门课程，主要讲解如何使用Sqoop工具进行数据在Hadoop集群与关系型数据库之间的迁移。Sqoop是一款由Apache开发的开源软件，专门用于...
Sqoop 数据迁移工具（mysql、HDFS、Hive、HBase）
weixin_44387652的博客
03-16 1114
Sqoop 数据迁移工具（mysql、HDFS、Hive、HBase）1、概述2、工作机制3、Sqoop 安装3.1、准备安装包3.2、安装步骤3.2.1、解压安装包到安装目录3.2.2、sqoop-env.sh3.2.3、加入 mysql 驱动包3.2.4、配置系统环境变量3.2.4、验证安装是否成功4、Sqoop 基本命令介绍5、Sqoop 数据导入5.1、导入 MySQL 数据到 HDFS5.1.1、普通导入5.1.2、指定分隔符和导入路径5.1.3、导入 where 条件数据5.1.4、导入 Que
Sqoop数据迁移
weixin_52683639的博客
04-07 2112
一、什么是Sqoop? 二、从RDB导入数据到HDFS-1 三、安装教程 1.下载 2.将压缩包塞到虚拟机里面 3.解压 tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz 4.移动 5.进入到conf文件 6.复制sqoop-env-template.sh 文件叫sqoop-env.sh cp sqoop-env-template.sh sqoop-env.sh 7.修改文件 8. 进入到lib目录（/opt/soft...
快速学习-Sqoop的简单使用案例
逍遥云恋
03-19 364
第4章 Sqoop的简单使用案例 4.1 导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 4.1.1 RDBMS到HDFS 确定Mysql服务开启正常 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p000000 mysql> create d...
sqoop实现数据迁移
jianmin0920的博客
07-02 458
sqoop命令中的 \ 后不能接任何空格，否则报错 (1)sqoop help 查看命令 (2)显示所有库名 方式一： sqoop list-databases –connect jdbc:mysql://...:3306 –username root –password 123456 方式二： sqoop list-databases –connect jdbc:mysql://...:3306 –username root -P 后直接提示通过键盘输入数据库密码 (3)显示某个数据库里所有表
数据湖：数据库数据迁移工具Sqoop
渡江客涂鸦板
07-27 2526
Apache Sqoop项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。...
Sqoop数据迁移工具
qq_41953252的博客
09-11 785
文章目录Sqoop数据迁移工具一、课前准备二、课堂主题三、课堂目标四、知识要点1. Sqoop是什么（5分钟）2. Sqoop的工作机制3. Sqoop基本架构（10分钟）4. Sqoop安装部署（5分钟）5. Sqooq数据的导入（45分钟）5.1 列举出所有的数据库5.2 导入数据库表数据到HDFS5.3 导入数据库表数据到HDFS指定目录5.4 导入数据库表数据到HDFS指定目录并且指定数据...
Sqoop介绍及数据迁移
qianchun22的博客
09-29 383
Sqoop介绍及数据迁移Sqoop介绍数据迁移一、从RDB导入数据到HDFS1、导入表到HDFS1.1 通过Where语句过滤导入表1.2 通过COLUMNS过滤导入表1.3 使用query方式导入数据1.4 使用Sqoop增量导入数据2、导入文件格式二、从RDB导入数据到Hive1、直接导入数据到Hive2、导入数据到Hive分区三、从RDB导入数据到HBase导入MySQL数据到HBase四、导出HDFS数据到MySQL使用sqoop export导出数据到MySQL Sqoop介绍 1、Sqoop是一
sqoop工具数据迁移
愤怒的苹果ext的博客
11-16 903
sqoop数据迁移工具 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 我的环境 centos6.5 hadoop2.4 sq
sqoop的数据迁移知识总结（全）
weixin_49165958的博客
09-29 759
目录一、导入到HDFS二、导入到Hive三、导入到Hbase四、从hdfs导出到mysql 一、导入到HDFS 1.WHERE语句过滤导入 sqoop import --connect jdbc:mysql://localhost:3306/hive --mysql里的数据库名 --table orders --数据库里的某个表 --where “order_date > ‘2015-10-10’” --where条件查询 --use
sqoop数据迁移命令
最新发布
06-14
Sqoop是Apache的一个开源工具，用于在Hadoop和关系型数据库（如MySQL、Oracle等）之间进行数据迁移。它提供了一种简单的方式来执行ETL（提取-转换-加载）任务，支持将结构化的数据从RDBMS迁移到Hadoop的HDFS或创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值