问题导读:
1、Sqoop export有哪三种导出模式,Sqoop默认是哪个模式?
2、INSERT模式和UPDATE模式区别,各自应用场景?
3、--update-key 、--column-key、--export-dir参数各自的作用?
4、--update-mode参数有哪两种模式,区别是什么?
5、Sqoop 导出插入事务提交原理,一条插入语句包含多少条记录?多少条语句执行一次事务提交?
6、--update-mode参数默认后接的是updateonly吗?
7、如果一个Map task任务执行失败了会怎么样?之前已经提交的事务操作会回滚吗?
一、Sqoop export简介
Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”,向目标数据库中注入数据记录。在“更新模式”中,Sqoop将会产生更新语句替换数据库中已经存在的记录。在“调用模式”中,Sqoop会为每个记录产生一个存储过程调用。
“INSERT模式”:Sqoop默认将每条记录以转换成INSERT语句,添加到数据库表中,如果你的表存在一些约束如关键字唯一等,使用插入模式要当心,避免违反这些约束。如果一条记录插入失败那么,该导入job将会失败。这种模式一般用于将数据导入到一个新的、空的表。Sqoop默认情况下使用INSERT 模式
“UPDATE模式”:如果指定--update-key参数,Sqoop将会修改一个数据库中存在的数据集,每一条记录都会当做UPDATE语句来修改存在的记录。记录的修改语句根据--update-key指定的列决定。如果一个更新语句在数据库中没有对应的记录,则不会报错,导出操作会继续进行。事实上,这意味着不会在数据库中导入新的记录,只是更新原始数据。同样的,如果使用--column-key指定的列不是唯一标识行的,也就是说不是关键字,那么多个行记录将会被更新通过使用一条语句。
二、参数介绍
--update-key 后面也可以接多个关键字列名,可以使用逗号隔开,Sqoop将会匹配多个关键字后再执行更新操作。
--export-dir 参数配合--table或者--call参数使用,指定了HDFS上需要将数据导入到MySQL中的文件集目录。
--update-mode updateonly和allowinsert。 基于目标数据库,如果指定--update-mode模式为allowinsert,可以将目标数据库中原来不存在的数据也导入到数据库表中。
即将存在的数据更新,不存在数据插入。
三、使用默认INSERT模式导出
01.
[hadoopUser
@secondmgt
~]$ sqoop-export --connect jdbc:mysql:
//secondmgt:3306/spice --username hive --password hive --table sqoopusers2 --export-dir /output/query/
02.
Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail.
03.
Please set $HCAT_HOME to the root of your HCatalog installation.
04.
15
/
01
/
18
19
:
06
:
06
WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
05.
15
/
01
/
18
19
:
06
:
06
INFO manager.<a href=
"http://www.it165.net/database/dbmy/"
target=
"_blank"
class
=
"keylink"
>MySQL</a>Manager: Preparing to use a MySQL streaming resultset.
06.
15
/
01
/
18
19
:
06
:
06
INFO tool.CodeGenTool: Beginning code generation
07.
15
/
01
/
18
19
:
06
:
07
INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `sqoopusers2` AS t LIMIT
1
08.
15
/
01
/
18
19
:
06
:
07
INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `sqoopusers2` AS t LIMIT
1
09.
15
/
01
/
18
19
:
06
:
07
INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/hadoopUser/cloud/hadoop/programs/hadoop-
2.2
.
0
10.
Note: /tmp/sqoop-hadoopUser/compile/fac73511c484d2d5abe0c007245594ff/sqoopusers2.java uses or overrides a deprecated API.
11.
Note: Recompile with -Xlint:deprecation
for
details.
12.
15
/
01
/
18
19
:
06
:
08
INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoopUser/compile/fac73511c484d2d5abe0c007245594ff/sqoopusers2.jar
13.
15
/
01
/
18
19
:
06
:
08
INFO mapreduce.ExportJobBase: Beginning export of sqoopusers2
14.
15
/
01
/
18
19
:
06
:
08
INFO Configuration.deprecation: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
15.
SLF4J: Class path contains multiple SLF4J bindings.
16.
SLF4J: Found binding in [jar:file:/home/hadoopUser/cloud/hadoop/programs/hadoop-
2.2
.
0
/share/hadoop/common/lib/slf4j-log4j12-
1.7
.
5
.jar!/org/slf4j/impl/StaticLoggerBinder.
class
]
17.
SLF4J: Found binding in [jar:file:/home/hadoopUser/cloud/hbase/hbase-
0.96
.
2
-hadoop2/lib/slf4j-log4j12-
1.6
.
4
.jar!/org/slf4j/impl/StaticLoggerBinder.
class
]
18.
SLF4J: See http:
//www.slf4j.org/codes.html#multiple_bindings for an explanation.
19.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
20.
15
/
01
/
18
19
:
06
:
09
INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
21.
15
/
01
/
18
19
:
06
:
09
INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative
22.
15
/
01
/
18
19
:
06
:
09
INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative
23.
15
/
01
/
18
19
:
06
:
09
INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
24.
15
/
01
/
18
19
:
06
:
09
INFO client.RMProxy: Connecting to ResourceManager at secondmgt/
192.168
.
2.133
:
8032
25.
15
/
01
/
18
19
:
06
:
10
INFO input.FileInputFormat: Total input paths to process :
4
26.
15
/
01
/
18
19
:
06
:
10
INFO input.FileInputFormat: Total input paths to process :
4
27.
15
/
01
/
18
19
:
06
:
11
INFO mapreduce.JobSubmitter: number of splits:
3
28.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.job.classpath.files is deprecated. Instead, use mapreduce.job.classpath.files
29.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name
30.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.cache.files.filesizes is deprecated. Instead, use mapreduce.job.cache.files.filesizes
31.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.cache.files is deprecated. Instead, use mapreduce.job.cache.files
32.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces
33.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.mapoutput.value.
class
is deprecated. Instead, use mapreduce.map.output.value.
class
34.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapreduce.map.
class
is deprecated. Instead, use mapreduce.job.map.
class
35.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name
36.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapreduce.inputformat.
class
is deprecated. Instead, use mapreduce.job.inputformat.
class
37.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir
38.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapreduce.outputformat.
class
is deprecated. Instead, use mapreduce.job.outputformat.
class
39.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.cache.files.timestamps is deprecated. Instead, use mapreduce.job.cache.files.timestamps
40.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.mapoutput.key.
class
is deprecated. Instead, use mapreduce.map.output.key.
class
41.
15
/
01
/
18
19
:
06
:
11
INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir
42.
15
/
01
/
18
19
:
06
:
11
INFO mapreduce.JobSubmitter: Submitting tokens
for
job: job_1421373857783_0019
43.
15
/
01
/
18
19
:
06
:
11
INFO impl.YarnClientImpl: Submitted application application_1421373857783_0019 to ResourceManager at secondmgt/
192.168
.
2.133
:
8032
44.
15
/
01
/
18
19
:
06
:
11
INFO mapreduce.Job: The url to track the job: http:
//secondmgt:8088/proxy/application_1421373857783_0019/
45.
15
/
01
/
18
19
:
06
:
11
INFO mapreduce.Job: Running job: job_1421373857783_0019
46.
15
/
01
/
18
19
:
06
:
24
INFO mapreduce.Job: Job job_1421373857783_0019 running in uber mode :
false
47.
15
/
01
/
18
19
:
06
:
24
INFO mapreduce.Job: map
0
% reduce
0
%
48.
15
/
01
/
18
19
:
06
:
34
INFO mapreduce.Job: map
33
% reduce
0
%
49.
15
/
01
/
18
19
:
06
:
38
INFO mapreduce.Job: map
100
% reduce
0
%
50.
15
/
01
/
18
19
:
06
:
38
INFO mapreduce.Job: Job job_1421373857783_0019 completed successfully
51.
15
/
01
/
18
19
:
06
:
38
INFO mapreduce.Job: Counters:
29
52.
File System Counters
53.
FILE: Number of bytes read=
0
54.
FILE: Number of bytes written=
275307
55.
FILE: Number of read operations=
0
56.
FILE: Number of large read operations=
0
57.
FILE: Number of write operations=
0
58.
HDFS: Number of bytes read=
1130
59.
HDFS: Number of bytes written=
0
60.
HDFS: Number of read operations=
18
61.
HDFS: Number of large read operations=
0
62.
HDFS: Number of write operations=
0
63.
Job Counters
64.
Launched map tasks=
3
65.
Other local map tasks=
1
66.
Data-local map tasks=
1
67.
Rack-local map tasks=
1
68.
Total time spent by all maps in occupied slots (ms)=
134888
69.
Total time spent by all reduces in occupied slots (ms)=
0
70.
Map-Reduce Framework
71.
Map input records=
13
72.
Map output records=
13
73.
Input split bytes=
512
74.
Spilled Records=
0
75.
Failed Shuffles=
0
76.
Merged Map outputs=
0
77.
GC time elapsed (ms)=
159
78.
CPU time spent (ms)=
7260
79.
Physical memory (bytes) snapshot=
426471424
80.
Virtual memory (bytes) snapshot=
2651189248
81.
Total committed heap usage (bytes)=
251658240
82.
File Input Format Counters
83.
Bytes Read=
0
84.
File Output Format Counters
85.
Bytes Written=
0
86.
15
/
01
/
18
19
:
06
:
38
INFO mapreduce.ExportJobBase: Transferred
1.1035
KB in
28.9938
seconds (
38.9738
bytes/sec)
87.
15
/
01
/
18
19
:
06
:
38
INFO mapreduce.ExportJobBase: Exported
13
records.
01.
mysql> select * from sqoopusers2;
02.
+----+-------------+----------+-----+-----------+------------+-------+------+
03.
| id | username | pass<a href=
"http://www.it165.net/edu/ebg/"
target=
"_blank"
class
=
"keylink"
>word</a> | sex | content | datetime | vm_id | isad |
04.
+----+-------------+----------+-----+-----------+------------+-------+------+
05.
|
56
| hua | hanyun | 男 | 开通 |
2013
-
12
-
02
|
0
|
1
|
06.
|
58
| feng |
123456
| 男 | 开通 |
2013
-
11
-
22
|
0
|
0
|
07.
|
59
| test |
123456
| 男 | 开通 |
2014
-
03
-
05
|
58
|
0
|
08.
|
60
| user1 |
123456
| 男 | 开通 |
2014
-
06
-
26
|
66
|
0
|
09.
|
61
| user2 |
123
| 男 | 开通 |
2013
-
12
-
13
|
56
|
0
|
10.
|
62
| user3 |
123456
| 男 | 开通 |
2013
-
12
-
14
|
0
|
0
|
11.
|
64
| kai.zhou |
123456
| ? | ?? |
2014
-
03
-
05
|
65
|
0
|
12.
|
65
| test1 |
111
| 男 | 未开通 | NULL |
0
|
0
|
13.
|
66
| test2 |
111
| 男 | 未开通 | NULL |
0
|
0
|
14.
|
67
| test3 |
113
| 男 | 未开通 | NULL |
0
|
0
|
15.
|
68
| sqoopincr01 |
113
| 男 | 未开通 | NULL |
0
|
0
|
16.
|
69
| sqoopincr02 |
113
| 男 | 未开通 | NULL |
0
|
0
|
17.
|
70
| sqoopincr03 |
113
| 男 | 未开通 | NULL |
0
|
0
|
18.
+----+-------------+----------+-----+-----------+------------+-------+------+
19.
13
rows in set (
0.00
sec)
四、使用UPDATE模式导出数据
1、演示UPDATE模式导出数据,对表sqoopusers2表执行原表修改操作,将所有用户性别改为女,来展示UPDATE用法
01.
mysql> update sqoopusers2 set sex=
'女'
;
02.
Query OK,
13
rows affected (
0.02
sec)
03.
Rows matched:
13
Changed:
13
Warnings:
0
04.
05.
mysql> select * from sqoopusers2;
06.
+----+-------------+----------+-----+-----------+------------+-------+------+
07.
| id | username | pass<a href=
"http://www.it165.net/edu/ebg/"
target=
"_blank"
class
=
"keylink"
>word</a> | sex | content | datetime | vm_id | isad |
08.
+----+-------------+----------+-----+-----------+------------+-------+------+
09.
|
56
| hua | hanyun | 女 | 开通 |
2013
-
12
-
02
|
0
|
1
|
10.
|
58
| feng |
123456
| 女 | 开通 |
2013
-
11
-
22
|
0
|
0
|
11.
|
59
| test |
123456
| 女 | 开通 |
2014
-
03
-
05
|
58
|
0
|
12.
|
60
| user1 |
123456
| 女 | 开通 |
2014
-
06
-
26
|
66
|
0
|
13.
|
61
| user2 |
123
| 女 | 开通 |
2013
-
12
-
13
|
56
|
0
|
14.
|
62
| user3 |
123456
| 女 | 开通 |
2013
-
12
-
14
|
0
|
0
|
15.
|
64
| kai.zhou |
123456
| 女 | ?? |
2014
-
03
-
05
|
65
|
0
|
16.
|
65
| test1 |
111
| 女 | 未开通 | NULL |
0
|
0
|
17.
|
66
| test2 |
111
| 女 | 未开通 | NULL |
0
|
0
|
18.
|
67
| test3 |
113
| 女 | 未开通 | NULL |
0
|
0
|
19.
|
68
| sqoopincr01 |
113
| 女 | 未开通 | NULL |
0
|
0
|
20.
|
69
| sqoopincr02 |
113
| 女 | 未开通 | NULL |
0
|
0
|
21.
|
70
| sqoopincr03 |
113
| 女 | 未开通 | NULL |
0
|
0
|
22.
+----+-------------+----------+-----+-----------+------------+-------+------+
23.
13
rows in set (
0.00
sec)
1.
[hadoopUser
@secondmgt
~]$ sqoop-export --connect jdbc:mysql:
//secondmgt:3306/spice --username hive --password hive --table sqoopusers2 --update-key id --export-dir /output/query/
3、查看结果
01.
mysql> select * from sqoopusers2;
02.
+----+-------------+----------+-----+-----------+------------+-------+------+
03.
| id | username | password | sex | content | datetime | vm_id | isad |
04.
+----+-------------+----------+-----+-----------+------------+-------+------+
05.
|
56
| hua | hanyun | 男 | 开通 |
2013
-
12
-
02
|
0
|
1
|
06.
|
58
| feng |
123456
| 男 | 开通 |
2013
-
11
-
22
|
0
|
0
|
07.
|
59
| test |
123456
| 男 | 开通 |
2014
-
03
-
05
|
58
|
0
|
08.
|
60
| user1 |
123456
| 男 | 开通 |
2014
-
06
-
26
|
66
|
0
|
09.
|
61
| user2 |
123
| 男 | 开通 |
2013
-
12
-
13
|
56
|
0
|
10.
|
62
| user3 |
123456
| 男 | 开通 |
2013
-
12
-
14
|
0
|
0
|
11.
|
64
| kai.zhou |
123456
| ? | ?? |
2014
-
03
-
05
|
65
|
0
|
12.
|
65
| test1 |
111
| 男 | 未开通 | NULL |
0
|
0
|
13.
|
66
| test2 |
111
| 男 | 未开通 | NULL |
0
|
0
|
14.
|
67
| test3 |
113
| 男 | 未开通 | NULL |
0
|
0
|
15.
|
68
| sqoopincr01 |
113
| 男 | 未开通 | NULL |
0
|
0
|
16.
|
69
| sqoopincr02 |
113
| 男 | 未开通 | NULL |
0
|
0
|
17.
|
70
| sqoopincr03 |
113
| 男 | 未开通 | NULL |
0
|
0
|
18.
+----+-------------+----------+-----+-----------+------------+-------+------+
19.
13
rows in set (
0.00
sec)
五、使用--update-mode allowinsert模式
为了演示效果,我们删除部分sqoopusers2表中数据并做一些修改,如下:
1、删除以sqoop开头的用户名记录
2、将kai.zhou名字改为sqoop1.4.4
使数据库表中数据内容如下,注意前后对比!
01.
mysql> select * from sqoopusers2;
02.
+----+------------+----------+-----+-----------+------------+-------+------+
03.
| id | username | password | sex | content | datetime | vm_id | isad |
04.
+----+------------+----------+-----+-----------+------------+-------+------+
05.
|
56
| hua | hanyun | 男 | 开通 |
2013
-
12
-
02
|
0
|
1
|
06.
|
58
| feng |
123456
| 男 | 开通 |
2013
-
11
-
22
|
0
|
0
|
07.
|
59
| test |
123456
| 男 | 开通 |
2014
-
03
-
05
|
58
|
0
|
08.
|
60
| user1 |
123456
| 男 | 开通 |
2014
-
06
-
26
|
66
|
0
|
09.
|
61
| user2 |
123
| 男 | 开通 |
2013
-
12
-
13
|
56
|
0
|
10.
|
62
| user3 |
123456
| 男 | 开通 |
2013
-
12
-
14
|
0
|
0
|
11.
|
64
| sqoop1.
4.4
|
123456
| ? | ?? |
2014
-
03
-
05
|
65
|
0
|
12.
|
65
| test1 |
111
| 男 | 未开通 | NULL |
0
|
0
|
13.
|
66
| test2 |
111
| 男 | 未开通 | NULL |
0
|
0
|
14.
|
67
| test3 |
113
| 男 | 未开通 | NULL |
0
|
0
|
15.
+----+------------+----------+-----+-----------+------------+-------+------+
1.
[hadoopUser
@secondmgt
~]$ sqoop-export --connect jdbc:mysql:
//secondmgt:3306/spice --username hive --password hive --table sqoopusers2 --update-key id
2.
--update-mode allowinsert --export-dir /output/query/
01.
mysql> select * from sqoopusers2;
02.
+----+-------------+----------+-----+-----------+------------+-------+------+
03.
| id | username | password | sex | content | datetime | vm_id | isad |
04.
+----+-------------+----------+-----+-----------+------------+-------+------+
05.
|
56
| hua | hanyun | 男 | 开通 |
2013
-
12
-
02
|
0
|
1
|
06.
|
58
| feng |
123456
| 男 | 开通 |
2013
-
11
-
22
|
0
|
0
|
07.
|
59
| test |
123456
| 男 | 开通 |
2014
-
03
-
05
|
58
|
0
|
08.
|
60
| user1 |
123456
| 男 | 开通 |
2014
-
06
-
26
|
66
|
0
|
09.
|
61
| user2 |
123
| 男 | 开通 |
2013
-
12
-
13
|
56
|
0
|
10.
|
62
| user3 |
123456
| 男 | 开通 |
2013
-
12
-
14
|
0
|
0
|
11.
|
64
| kai.zhou |
123456
| ? | ?? |
2014
-
03
-
05
|
65
|
0
|
12.
|
65
| test1 |
111
| 男 | 未开通 | NULL |
0
|
0
|
13.
|
66
| test2 |
111
| 男 | 未开通 | NULL |
0
|
0
|
14.
|
67
| test3 |
113
| 男 | 未开通 | NULL |
0
|
0
|
15.
|
68
| sqoopincr01 |
113
| 男 | 未开通 | NULL |
0
|
0
|
16.
|
69
| sqoopincr02 |
113
| 男 | 未开通 | NULL |
0
|
0
|
17.
|
70
| sqoopincr03 |
113
| 男 | 未开通 | NULL |
0
|
0
|
18.
+----+-------------+----------+-----+-----------+------------+-------+------+
19.
13
rows in set (
0.00
sec)
六、错误分析
Export有时候会失败,可能有如下之一原因:
1、Hadoop集群与数据库失去连接(可能是硬件错误或者服务器软件崩溃)
2、试图插入数据库时违反了一致性约束条件(如关键字重复)
3、从HDFS源数据文件中试图解析一个不完全的或者不符合要求格式的数据记录
4、试图使用不正确的分隔符解析记录
5、容量问题(如:RAM容量或者磁盘容量不足等)
如果一个Map任务因为上述原因失败,那么会导致该导入Job失败。一个失败的导入结果是无法确定的。每一个导出Map任务以不同分隔开来的事务运行着。此外,单个Map任务每隔一段时间提交当前的事务,如果一个任务失败了,那么当前的事务会被回滚。先前提交的事务将会继续保存在数据库中,会导致一个不完全的导出操作