sqoop

最新推荐文章于 2021-08-27 18:25:43 发布
最新推荐文章于 2021-08-27 18:25:43 发布
阅读量123 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_yuan_yuan/article/details/105004756
版权

1. 从mysql全量数据导入hdfs,保存到一个maptask里
首先启动dfs yarn,然后在sqoop目录下,

bin/sqoop import \
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /aa \
----fields-terminated-by '\t'  \
--table emp --m 1`

注意:

  • 可以看出它会在HDFS上默认用逗号,分隔emp表的数据和字段。可以通过
    –fields-terminated-by '\t’来指定分隔符。
  • sqoop任务使用的MapReduce运行的
  • –m 1 指定mapper的个数为1 _success part-m-00000
  • sqoop默认导入hdfs，默认分隔符是“，”
  • \ 不能和前边的命令紧挨着，需要有空格
  • –target-dir 不能提前创建，因为MapReduce首先就会检查输出目录是否存在，如果存在，就会报错。
    2. 从mysql全量数据导入hdfs,保存到多个maptask里
bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--target-dir /sqoopresult214 \
--fields-terminated-by '\t' \
--split-by id \
--table emp --m 2

3. 从mysql全量数据导入hive,先复制表结构到hive中,再导入数据,保存到一个maptask里
其中：
–table emp_add为mysql中的数据库中的表。
–hive-table emp_add_sp 为hive中新建的表名称。

注意:新建表会被扔到垃圾箱,需要设置
第一步，删除原hive连接MySQL数据库中存放hive元数据的数据库。drop database hive;
第二步，新建存放元数据库的数据。create database hive;
第三步，修改数据的编码为latin1 。 alter database hive character set latin1;
最后,进入hive保存元数据的那个mysql

先复制表结构到hive中

bin/sqoop create-hive-table \
--connect jdbc:mysql://node01:3306/mysqlsource \
--table emp_add \
--username root \
--password 123456 \
--hive-table test.emp_add_sp

从关系数据库导入文件到hive中

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--table emp_add \
--hive-table test.emp_add_sp \
--hive-import \
--m 1

4. 从mysql表子集数据导入hdfs,用where

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--where "city ='sec-bad'" \
--target-dir /wherequery \
--table emp_add --m 1

4.1从mysql表子集数据导入hdfs,用query
–query使用query sql语句来进行查找不能加参数–table ;
并且必须要添加where条件;
并且where条件后面必须带一个$CONDITIONS 这个字符串;
并且这个sql语句必须用单引号，不能用双引号;

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--target-dir /wherequery12 \
--query 'select id,name,deg from emp WHERE  id>1203 and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 2

5. 增量导入hdfs–append模式
增量导入的时候，会再生成一个文件。
适合有主键，且主键是自增的数值类型。-----一般使用append模式。
执行以下指令先将我们之前的数据导入

bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password 123456 \
--target-dir /appendresult \
--table emp --m 1

然后在mysql的emp中插入2条增量数据:
insert into userdb.emp (id, name, deg, salary, dept) values (‘1206’, ‘allen’, ‘admin’, ‘30000’, ‘tp’);
insert into userdb.emp (id, name, deg, salary, dept) values (‘1207’, ‘woon’, ‘admin’, ‘40000’, ‘tp’);

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root  --password 123456 \
--table emp --m 1 \
--target-dir /appendresult \
--incremental append \
--check-column id \
--last-value  1205

5.1 . 增量导入hdfs–Lastmodified模式(附加数据) 用于没有主键或者主键不是自增的

  • lastmodified模式去处理增量时，会将大于等于last-value值的数据当做增量插入。
  • 根据时间类型的字段进行增量导入。新增，修改这些数据都会增量导入到hdfs。
  • 适合于没有主键或者主键不是数值类型自增的，可以使用lastmodified的形式，根据创建时间或者修改时间字段进行增量导入。

首先创建一个customer表，指定一个时间戳字段：此处的时间戳last_mod设置为在数据的产生和更新时都会发生改变.

create table customertest(id int,name varchar(20),last_mod timestamp default current_timestamp on update current_timestamp);
一行行的添加数据
insert into customertest(id,name) values(1,'neil');
insert into customertest(id,name) values(2,'jack');
insert into customertest(id,name) values(3,'martin');
insert into customertest(id,name) values(4,'tony');
insert into customertest(id,name) values(5,'eric');

执行sqoop指令将数据全部导入hdfs:

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--target-dir /lastmodifiedresult \
--table customertest \
--m 1

再次插入一条数据进入customertest表

insert into customertest(id,name) values(6,'james');

使用incremental的方式进行增量的导入:

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-09-24 00:53:13.1" \
--m 1 \
--append

5.2 . 增量导入hdfs–Lastmodified模式(mergekey合并数据)
下面演示使用merge-by的模式进行增量更新,我们去更新 id为1的name字段。

update customertest set name = 'Neil' where id = 1;

下面演示使用merge-by的模式进行增量更新,我们去更新 id为1的name字段。

bin/sqoop import \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2020-03-21 13:23:07" \
--m 1 \
--merge-key id

6 . 导出, 从hdfs上将结构化文件导出到mysql
1.1．准备HDFS数据
在HDFS文件系统中“/emp/”目录的下创建一个文件emp_data.txt：

1201,gopal,manager,50000,TP
1202,manisha,preader,50000,TP
1203,kalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
1206,satishp,grpdes,20000,GR
1.2．手动创建mysql中的目标表

mysql> USE userdb;
mysql> CREATE TABLE employee ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT,
   dept VARCHAR(10));

1.3．执行导出命令 默认模式导出,底层是insert,把数据导进去

bin/sqoop export \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--table employee \
--export-dir /emp

6.1 更新导出（updateonly模式）, 从hdfs上将结构化文件导出到mysql
6.1.1．准备HDFS数据
在HDFS “/updateonly_1/”目录的下创建一个文件updateonly_1.txt：
1201,gopal,manager,50000
1202,manisha,preader,50000
1203,kalil,php dev,30000
6.1.2．手动创建mysql中的目标表

mysql> CREATE TABLE updateonly ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT);
  • 先将hdfs的数据全量导出到mysql，再根据新文件导出。用updateonly观察结果。
  • – update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
  • – updatemod，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。
bin/sqoop export \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root --password 123456 \
--table updateonly \
--export-dir /updateonly_1/ \

6.1.3．参数说明

  • update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
  • updatemod，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。
    6.1.4．新增一个文件
    updateonly_2.txt。修改了前三条数据并且新增了一条记录。上传至/updateonly_2/目录下：
    1201,gopal,manager,1212
    1202,manisha,preader,1313
    1203,kalil,php dev,1414
    1204,allen,java,1515
    6.1.5．执行更新导出
bin/sqoop export \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root --password 123456 \
--table updateonly \
--export-dir /updateonly_2/ \
--update-key id \
--update-mode updateonly

6.1.6．查看最终结果
6.2 更新导出（allowinsert）, 数据进行更新操作的同时也进行了新增的操作
3.1．参数说明
– update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
– updatemod，指定allowinsert，更新已存在的数据记录，同时插入新纪录。实质上是一个insert & update的操作。
3.2．准备HDFS数据
在HDFS “/allowinsert_1/”目录的下创建一个文件allowinsert_1.txt：
1201,gopal,manager,50000
1202,manisha,preader,50000
1203,kalil,php dev,30000
3.3．手动创建mysql中的目标表

mysql> CREATE TABLE allowinsert ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT);

3.4．先执行全部导出操作

bin/sqoop export \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--table allowinsert \
--export-dir /allowinsert_1/

3.5．查看此时mysql中的数据
可以发现是全量导出，全部的数据

3.6．新增一个文件
allowinsert_2.txt。修改了前三条数据并且新增了一条记录。上传至/ allowinsert_2/目录下：
1201,gopal,manager,1212
1202,manisha,preader,1313
1203,kalil,php dev,1414
1204,allen,java,1515

3.7．执行更新导出

bin/sqoop export \
--connect jdbc:mysql://node01:3306/mysqlsource \
--username root --password 123456 \
--table allowinsert \
--export-dir /allowinsert_2/ \
--update-key id \
--update-mode allowinsert

3.8．查看最终结果
导出时候的日志显示导出4条记录：

7.Sqoop job
1．创建job
在这里，我们创建一个名为ijob，这可以从RDBMS表的数据导入到HDFS作业。
下面的命令用于创建一个从DB数据库的emp表导入到HDFS文件的作业。

bin/sqoop job --create ijob -- import --connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password 123456 \
--target-dir /sqoopresult333 \
--table emp --m 1

注意import前要有空格

2．验证job
‘–list’ 参数是用来验证保存的作业。下面的命令用来验证保存Sqoop作业的列表。

bin/sqoop job --list

3．检查job
‘–show’ 参数用于检查或验证特定的工作，及其详细信息。以下命令和样本输出用来验证一个名为ijob的作业。

bin/sqoop job --show ijob

4．执行job
‘–exec’ 选项用于执行保存的作业。下面的命令用于执行保存的作业称为ijob。

bin/sqoop job --exec ijob

5．免密执行job
sqoop在创建job时，使用–password-file参数，可以避免输入mysql密码，如果使用–password将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在HDFS上，并且权限必须是400。

echo -n "123456" > mysql.pwd
hadoop fs -mkdir -p /input/sqoop/pwd/
hadoop fs -put mysql.pwd /input/sqoop/pwd/
hadoop fs -chmod 400 /input/sqoop/pwd/mysql.pwd

并且检查cd sqoop/conf 的sqoop-site.xml是否存在如下配置：

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.
    </description>
</property>

bin/sqoop job --create ijob3 -- import --connect jdbc:mysql://node01:3306/mysqlsource \
--username root \
--password-file /input/sqoop/pwd/mysql.pwd \
--target-dir /sqoopresult444 \
--table emp --m 1

bin/sqoop job --exec ijob3
是Elva啊
关注
使用sqoop的update-only更新mysql表指定字段记录
yuyankang的博客
08-11 1165
收到这样一个需求：200w数据的MySQL表中增加一个新的字段，并补全该字段的历史数据，该表的历史数据可以通过订单号从hive归档表中获取到，基于需求首先想到的就是sqoop能不能实现，答案当然可以。
大数据组件学习2 —— Sqoop
weixin_40170142的博客
04-17 1465
一、Sqoop进行数据导出 接着说Sqoop, 关于Sqoop导出, 导出前需要先在RDBMS中创建表，在从Hive, HDFS等存储组件中导出数据 1.1 默认模式 bin/sqoop export bin/sqoop export --connect jdbc:mysql://localhost:3306/test \ --username root \ --password ****** \ --table XXX \ --export-dir YYY \ 默认模式就是将HDFS...
sqoop export参数update-mode两种模式allowinsert和updateonly
qq_47658874的博客
11-23 4241
[李国豪](sqoop export参数update-mode两种模式allowinsert和updateonly) 参数说明 1.更新导出（updateonly模式） – update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。 – updatemode，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。 2.更新导出（allowinsert模式） – update-key，更新标识，即根据某个字段进行更新，例如i
sqoop导出数据时如何选择update-key
日进一步
07-09 9445
在增量导出模式下，无论是allowinsert模式还是updateonly模式，都需要设置update-key：Ø  allowinsert模式：该模式下生成的是insert语句，从这个角度讲update-key是没有作用的，但是在CDH Sandbox上测试时发现，如果不指定update-key则会导致reduce执行失败。Ø  updateonly模式：该模式下生成的是update语句，upd...
Sqoop --增量导入，更新导出（updateonly模式），（allowinsert模式）
kismet
12-02 7722
1.增量导入 在实际工作当中，数据的导入，很多时候都是只需要导入增量数据即可，并不需要将表中的数据每次都全部导入到hive或者hdfs当 中去，这样会造成数据重复的问题。因此一般都是选用一些字段进行增量的导入， sqoop支持增量的导入数据。 增量导入是仅导入新添加的表中的行的技术。 --check-column (col) 用来指定一些列，这些列在增...
mysql联合主键更新update,解决sqoop导入关系库更新联合主键的问题
weixin_29332779的博客
03-18 945
[Author]: kwusqoop导入关系库更新联合主键的问题，把数据从hive中导入关系库，如果关系库表有联合主键的情况，且需要把新导入的数据更新原来的数据。1、创建关系库表CREATE TABLEtest123(id INT NOT NULL,name VARCHAR(25) NOT NULL,age INT,PRIMARY KEY (id, name))ENGINE=MyISAM DEFA...
Sqoop导出模式——全量、增量insert、更新update的介绍以及脚本示例
大壮的博客
07-04 1514
全量导出 HQL示例：insert overwrite directory ‘/user/root/export/test’ row format delimited fields terminated by ‘,’ STORED AS textfile select F1,F2,F3 from <sourceHiveTable>; SQOOP脚本：sqoop expor...
sqoop1.99.6 update导出语句
dawujiong2967的博客
05-09 99
我们采用sqoop-export插入数据的时候，如果主键已经存在了，插入会失败。想要根据主键判断是否要进行insert操作还是update操作，sqoop提供了update语法。示例 sqoop --connect "" --username "username" --password "password" --table "tablename" --export-dir "/d...
sqoop的--query工作中的实际的使用
热门推荐
allen的博客
10-10 1万+
需求： 有一个需求，就是需要从hive通过sqoop导数据回oracle，但是导入过程需要用另外一张表记录导入过程，比如导入的时间、导入是否准备中或者运行中、成功或者失败，因为别人需要通过这个标志来触发一些处理。这里就可以用shell脚本结合sqoop的–query来实现。其中IS_FLAG :1为准备中 2为运行中 0为完成 -1为异常出错失败#!/bin/bash source ExitCod
解决sqoop导入关系库更新联合主键的问题
08-07 5901
[Author]: kwu --- sqoop导入关系库更新联合主键的问题，把数据从hive中导入关系库，如果关系库表有联合主键的情况，且需要把新导入的数据更新原来的数据
sqoop qoop-export 数据覆盖
似水流年
01-14 1万+
问题导读： 1、Sqoop export有哪三种导出模式，Sqoop默认是哪个模式？ 2、INSERT模式和UPDATE模式区别，各自应用场景？ 3、--update-key 、--column-key、--export-dir参数各自的作用？ 4、--update-mode参数有哪两种模式，区别是什么？ 5、Sqoop 导出插入事务提交原理，一条插入语句包含多少条记
sqoop导出工具
weixin_30734435的博客
07-26 239
sqoop的导出工具是把HDFS上文件中的数据导出到mysql中 mysql中的表 现在在linux上创建一个文件，并把这个文件上传到hdfs上 cat person.txt 7,no7,77 8,no8,88 $ hadoop fs -mkdir person_export $ hadoop fs -put -f person.txt person_export $...
Sqoop增量更新（自动更新参数）
zhangxiaohui4445的博客
05-26 1660
1原始导出脚本： sqoop import --connect jdbc:mysql://dev07:3306/dianpingdb --username root --password root --table category --target-dir /user/zxh/sqoop1 --incremental lastmodified --check-column updated_at --merge-key id --last-value "2019-06-12 12:39:43" --m 1
Sqoop 工具速查表（中文版）--转
weixin_30535913的博客
03-31 860
Sqoop用户手册（英文版）：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html 1. 概述 本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2....
sqoop增量更新使用问题
qq_24046203的博客
11-14 1806
使用sqoop增量更新数据到hive中，使用参数–increment，append为根据递增列更新数据，lastmodified为根据更新时间进行增量更新，–check-column 指定增量更新的基准列，–last-value为更新比较值。 sqoop import --connect CONNECTOR --username USERNAME --password PASSWORD --fe...
Sqoop 数据增量导出，--update-key添加多个字段
qq_43688472的博客
08-27 1571
增量导出 Ø 应用场景：将Hive表中的增量记录以及有修改的记录同步到目标表中。 Ø 实现逻辑： 增量导出（insert模式） HQL示例：insert overwrite directory ‘/user/root/export/test’ \ row format delimited fields terminated by ‘,’ \ STORED AS textfile select F1,F2,F3 from <sourceHiveTable> where <condition
Sqoop
菜鸟清风http://www.hphblog.cn/
01-08 9683
Sqoop的基本原理和相关参数配置： 简介Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据...
Apache Sqoop详解与安装指南
"Apache Sqoop是用于在Hadoop和关系型数据库管理系统(RDBMS)之间传输数据的工具。它通过将导入或导出命令转化为MapReduce任务来实现数据的迁移。Sqoop支持多种RDBMS，如MySQL、Oracle、DB2等，以及Hadoop生态系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值