How To Use Sqoop2 Increment Import

最新推荐文章于 2021-02-19 15:07:10 发布
最新推荐文章于 2021-02-19 15:07:10 发布
阅读量94 收藏
点赞数
文章标签： 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34232744/article/details/85071666
版权

Sqoop2的增量导入很简单，根据某个字段值的变化，进行同步。如果要导出到一个存在文件的目录里，必须指定append mode为true。下图为官方文档的截图：
How To Use Sqoop2 Increment Import
一、全量同步
表中存在3条数据，如下图：
How To Use Sqoop2 Increment Import
1.1 创建job

sqoop:000> create job -f PostgreSQL_Link -t HDFS_Link
Creating job for links with from name PostgreSQL_Link and to name HDFS_Link
Please fill following values to create new job object
Name: Web_PSQL_To_HDFS

Database source

Schema name: public
Table name: web_customer
SQL statement: 
Column names: 
There are currently 0 values in the list:
element# 
Partition column: id
Partition column nullable: 
Boundary query: 

Incremental read

Check column: 
Last value: 

Target configuration

Override null value: 
Null value: 
File format: 
  0 : TEXT_FILE
  1 : SEQUENCE_FILE
  2 : PARQUET_FILE
Choose: 0
Compression codec: 
  0 : NONE
  1 : DEFAULT
  2 : DEFLATE
  3 : GZIP
  4 : BZIP2
  5 : LZO
  6 : LZ4
  7 : SNAPPY
  8 : CUSTOM
Choose: 1
Custom codec: 
Output directory: /user/DataSource/PostgreSQL/WEB_CUSTOMER
Append mode: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name Web_PSQL_To_HDFS

1.2 运行job

sqoop:000> start job -s -n Web_PSQL_To_HDFS
Submission details
Job Name: Web_PSQL_To_HDFS
Server URL: http://localhost:12000/sqoop/
Created by: hadoop
Creation date: 2017-12-25 10:10:39 CST
Lastly updated by: hadoop
External ID: job_1513929521869_0014
        http://hdp04:8088/proxy/application_1513929521869_0014/
2017-12-25 10:10:39 CST: BOOTING  - Progress is not available
2017-12-25 10:10:51 CST: RUNNING  - 0.00 %
2017-12-25 10:11:01 CST: RUNNING  - 35.00 %
2017-12-25 10:11:14 CST: SUCCEEDED 
Counters:
        org.apache.hadoop.mapreduce.FileSystemCounter
                FILE_LARGE_READ_OPS: 0
                FILE_WRITE_OPS: 0
                HDFS_READ_OPS: 10
                HDFS_BYTES_READ: 1501
                HDFS_LARGE_READ_OPS: 0
                FILE_READ_OPS: 0
                FILE_BYTES_WRITTEN: 3420790
                FILE_BYTES_READ: 0
                HDFS_WRITE_OPS: 10
                HDFS_BYTES_WRITTEN: 297
        org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter
                BYTES_WRITTEN: 0
        org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter
                BYTES_READ: 0
        org.apache.hadoop.mapreduce.JobCounter
                TOTAL_LAUNCHED_MAPS: 10
                MB_MILLIS_MAPS: 115728384
                VCORES_MILLIS_MAPS: 56508
                SLOTS_MILLIS_MAPS: 56508
                OTHER_LOCAL_MAPS: 10
                MILLIS_MAPS: 56508
        org.apache.sqoop.submission.counter.SqoopCounters
                ROWS_READ: 3                                     --读取3条数据
                ROWS_WRITTEN: 3                               --同步3条数据
        org.apache.hadoop.mapreduce.TaskCounter
                SPILLED_RECORDS: 0
                MERGED_MAP_OUTPUTS: 0
                VIRTUAL_MEMORY_BYTES: 41340801024
                MAP_INPUT_RECORDS: 0
                SPLIT_RAW_BYTES: 1501
                MAP_OUTPUT_RECORDS: 3
                FAILED_SHUFFLE: 0
                PHYSICAL_MEMORY_BYTES: 3848200192
                GC_TIME_MILLIS: 2249
                CPU_MILLISECONDS: 32280
                COMMITTED_HEAP_BYTES: 3965714432
Job executed successfully

web_customer表中只有3条数据，已成功同步。
二、增量同步
2.1 表中插入新数据
第4条是新插入的数据，如图：
How To Use Sqoop2 Increment Import
2.2 创建job

sqoop:000> create job -f PostgreSQL_Link -t HDFS_Link
Creating job for links with from name PostgreSQL_Link and to name HDFS_Link
Please fill following values to create new job object
Name: Web_PSQL_To_HDFS_I

Database source

Schema name: public
Table name: web_customer
SQL statement: 
Column names: 
There are currently 0 values in the list:
element# 
Partition column: id
Partition column nullable: 
Boundary query: 

Incremental read

Check column: id         --指定id字段
Last value: 3                --全量同步后的最后一条记录的id值

Target configuration

Override null value: 
Null value: 
File format: 
  0 : TEXT_FILE
  1 : SEQUENCE_FILE
  2 : PARQUET_FILE
Choose: 0
Compression codec: 
  0 : NONE
  1 : DEFAULT
  2 : DEFLATE
  3 : GZIP
  4 : BZIP2
  5 : LZO
  6 : LZ4
  7 : SNAPPY
  8 : CUSTOM
Choose: 1
Custom codec: 
Output directory: /user/DataSource/PostgreSQL/WEB_CUSTOMER
Append mode: true                         --如果要和全量同步的文件放在一起，必须输入true，否则会因目录下有文件而报错。

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name Web_PSQL_To_HDFS_I

2.3 运行job

sqoop:000> start job -s -n Web_PSQL_To_HDFS_I
Submission details
Job Name: Web_PSQL_To_HDFS_I
Server URL: http://localhost:12000/sqoop/
Created by: hadoop
Creation date: 2017-12-25 10:43:47 CST
Lastly updated by: hadoop
External ID: job_1513929521869_0015
        http://hdp04:8088/proxy/application_1513929521869_0015/
2017-12-25 10:43:47 CST: BOOTING  - Progress is not available
2017-12-25 10:43:59 CST: RUNNING  - 0.00 %
2017-12-25 10:44:09 CST: RUNNING  - 45.00 %
2017-12-25 10:44:23 CST: SUCCEEDED 
Counters:
        org.apache.hadoop.mapreduce.FileSystemCounter
                FILE_LARGE_READ_OPS: 0
                FILE_WRITE_OPS: 0
                HDFS_READ_OPS: 10
                HDFS_BYTES_READ: 1351
                HDFS_LARGE_READ_OPS: 0
                FILE_READ_OPS: 0
                FILE_BYTES_WRITTEN: 3423100
                FILE_BYTES_READ: 0
                HDFS_WRITE_OPS: 10
                HDFS_BYTES_WRITTEN: 129
        org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter
                BYTES_WRITTEN: 0
        org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter
                BYTES_READ: 0
        org.apache.hadoop.mapreduce.JobCounter
                TOTAL_LAUNCHED_MAPS: 10
                MB_MILLIS_MAPS: 113948672
                VCORES_MILLIS_MAPS: 55639
                SLOTS_MILLIS_MAPS: 55639
                OTHER_LOCAL_MAPS: 10
                MILLIS_MAPS: 55639
        org.apache.sqoop.submission.counter.SqoopCounters
                ROWS_READ: 1                           --读取一条新数据
                ROWS_WRITTEN: 1                     --同步一条新数据
        org.apache.hadoop.mapreduce.TaskCounter
                SPILLED_RECORDS: 0
                MERGED_MAP_OUTPUTS: 0
                VIRTUAL_MEMORY_BYTES: 41336942592
                MAP_INPUT_RECORDS: 0
                SPLIT_RAW_BYTES: 1351
                MAP_OUTPUT_RECORDS: 1
                FAILED_SHUFFLE: 0
                PHYSICAL_MEMORY_BYTES: 4070748160
                GC_TIME_MILLIS: 2363
                CPU_MILLISECONDS: 31730
                COMMITTED_HEAP_BYTES: 4415553536
Job executed successfully
weixin_34232744
关注
Sqoop使用总结——导入数据到大数据集群import
背离赤道、逆光而行
05-20 1355
目录 RDBMS到HDFS RDBMS到Hive RDBMS到Hbase RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -proot mysql> create database company; mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(25.
【Sqoop】Sqoop 工具之 Sqoop-import
w1992wishes的博客
06-15 2693
全文内容来自：Sqoop工具模块之sqoop-import 一、常用命令列举 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar 4 create-hive-table CreateHiveTab...
Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程
张伟的专栏
10-06 1399
Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程 时间 2014-11-26 17:13:36 CSDN博客 原文  http://blog.csdn.net/nsrainbow/article/details/41518451 主题 数据库 Hadoop HDFS 具体的安装和jdbc的驱动准备你们看第6课。现在我用一个例子讲
sqoop学习文档(2){Sqoop import、Sqoop export}
fy_1852003327的博客
07-28 187
sqoop学习文档(2) 【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】 接我上一篇文章，sqoop学习文档（1） 三、Sqoop import 导入数据Sqoop import：将数据从关系型数据库导入大数据集群 导入工具将单个表从RDBMS(关系型数据库)导入到HDFS。表中的每一行在HDFS中均表示为单独的记录。记录可以存储为文本文件（每行一个记录），也可以二进制表示形式存储为Avro或SequenceFiles。 1.RDBMS(关系型数据库)到HDFS (1)确定Mysql
sqoop2将Oracle数据导入HDFS
大数据同盟会的博客
10-30 3822
Sqoop 是一个设计用于在 Apache Hadoop 和结构化数据存储（如关系数据库）之间高效地传输大批量数据的工具。Cloudera Manager 支持的版本为 Sqoop 2。 一、添加sqoop2到CDH 因为我使用的的CDH搭建hadoop集群，所以可以通过cloudera manager添加上sqoop2. 二、把Oracle驱动拷贝到Sqoop安装路径中的lib文件夹下 我的O...
sqoop(2):import之mysqlToHDFS
小蚯蚓的博客
11-11 373
一、实现功能 将mysql数据库中数据导入到hdfs上。 二、方法 1.mysql中新建测试表 create database if not exists sqoop; use sqoop; //创建测试表 create table tohdfs( id int primary key not null, name varchar(20) not null ); //插入测试数据 ...
sqoop1: import to hive partitioned table
08-05
NULL 博文链接：https://ylzhj02.iteye.com/blog/2051729
sqoop学习文档(2){Sqoop import、Sqoop export}.docx
07-28
本文档主要介绍了 Sqoop 的 `import` 和 `export` 功能。 一、Sqoop Import 导入数据 1. **全量导入** 当你需要将整个 RDBMS 表导入 HDFS 时，可以使用 `--connect`、`--username`、`--password`、`--table` 和 `...
sqoop-orc-import
05-06
在Sqoop import的方法中，增加生成ORC File格式的命令. Build 源码取自于 使用ant build Usage 在import命令中，增加: --as-orcdatafile Examples sqoop import -D hadoop.job.history.user.location=none --connect...
sqoop 从db2 import hive
最新发布
04-24
sqoop import --connect jdbc:db2://[hostname]:[port]/[database_name] --username [username] --password [password] --table [table_name] --hive-import --hive-table [hive_table_name] 在这个命令中，您需要...
sqoop2操作流程
微电子学与固体电子学-俞驰
07-30 932
--------------------------配置------------------------------------- 配置/home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200/server/conf 中的sqoop.properties文件以及catalina.properties文件 catalina.properties中修改如...
Sqoop2 使用
afunyusong的专栏
01-12 727
Sqoop2的安装与使用 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 Sqoop User Guide 问题1： java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException 解决办法： cd /opt/cloudera/parcels/CDH/lib/hadoop/
sqoop java实例_[sqoop1.99.7] sqoop实例——数据ETL
weixin_34191685的博客
02-19 368
一、创建一个mysql的linkMySQL链接使用的是JDBC，必须有对应的驱动文件jar，还得有对应的访问权限，请确保能在server端访问MySQL。确保mysql的jar包已经导入到${SQOOP_HOME}/server/lib/目录下。create link -c generic-jdbc-connector这时候就会出现交互会话，提示你输入各项参数：【Link configuratio...
Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试
热门推荐
人唯优的博客
04-26 3万+
一.测试背景 工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。   二.测试方法概述   数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。 测试平台：公司Ambari测试平台，物理内存100G。 测试...
用sqoop2从mysql导入数据到hbase
勿忘始终
08-15 3631
用sqoop2从mysql导入数据到hbase 标签（空格分隔）： sqoop2 hbase hadoop mysql 数据迁移 一、基础环境 hadoop-2.6.0 sqoop-1.99.6 hbase-1.0.1.1 二、数据迁移实际操作步骤 1、mysql中表结构显示 CREATE TABLE `risk_trade_error_result` ( `SERI...
超详细讲解Sqoop2应用与实践
王小雷-多面手
07-10 1万+
摘要:超详细讲解Sqoop2应用与实践，从hdfs上的数据导入到postgreSQL中，再从postgreSQL数据库导入到hdfs上。详细讲解创建link和创建job的操作，以及如何查看sqoop2的工作状态。1.准备，上一篇超详细讲解Sqoop2部署过程，2创建link，3创建job.
使用sqoop2实现hdfs与Oracle数据相互导入
cakecc2008的专栏
10-14 8375
上一篇已经完成了sqoop2的安装，本篇文章介绍sqoop2将数据从Oracle导入hdfs已经从hdfs导入Oracle 1、连接sqoop2服务 sqoop2是c/s模式，之前安装并启动的是sqoop的服务端，如果想要使用和操作sqoop2，需要通过客户端连接到服务端，然后使用。只要保证服务端正常处于运行状态，客户端可以从任意终端发起。也就是说，客户端可以是一台只解压了sqoop2安装包的
sqoop2增量导入无法指定last value问题解决方法
大飞大飞啊的博客
12-04 3333
在用sqoop 1.99.6创建任务进行增量导入时，在incremental read后需要输入check column和last value，但是再输入last value时输入任何值都会提示超出了size，size为-1。以下是这个问题的解决方法。 sqoop 1.99.6版本尚不稳定，源码存在错误，上个问题的错误原因在于a/shell/src/main/java/org/apache/sq
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值