sqoop2增量导入无法指定last value问题解决方法

最新推荐文章于 2023-04-07 14:17:04 发布
VIP文章 最新推荐文章于 2023-04-07 14:17:04 发布
阅读量3.2k 收藏
点赞数 1
分类专栏： sqoop2 文章标签： sqoop2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xrf416933696/article/details/50171777
版权

在用sqoop 1.99.6创建任务进行增量导入时，在incremental read后需要输入check column和last value，但是再输入last value时输入任何值都会提示超出了size，size为-1。以下是这个问题的解决方法。

sqoop 1.99.6版本尚不稳定，源码存在错误，上个问题的错误原因在于a/shell/src/main/java/org/apache/sqoop/shell/utils/ConfigFiller.java中存在错误代码，一共存在两处错误

第一处为：

@@
最低0.47元/天 解锁文章
大飞大飞啊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2138
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
Sqoop全量数据导入、增量数据导入、并发导入 （Sqoop进阶）
热门推荐
little prince，blue coder
07-17 3万+
Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。下面依次来看： 全量数据导入 就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Hadoop中（可以是HDFS、Hive等）。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令，具体如下： # 全量数据导入 sqoop import...
sqoop中的数据增量问题
qq_45992615的博客
12-06 694
文章目录1、简介2、操作说明2.1指定字段的取值范围，增量导数据2.1适用于表不断的有新数据插入(时间的改变)2.3导入id大于等于last-value的数据2.4导入--check-column指定的last_mod列 1、简介 check-column: 用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定
hbase sqoop 实验_sqoop将mysql数据导入hbase、hive的血与泪
weixin_39693437的博客
12-21 328
一、 需求：(将以下这张表数据导入mysql)由此，编写如下sqoop导入命令sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.1.9/spider --username root --password root --table test_goods --hbase-create-table --...
sqoop常见错误
weixin_42947670的博客
08-15 1789
常见错误： 错误一：ERROR tool.ImportTool: Import failed: java.io.IOException: Generating splits for a textual index column allowed only in case of “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” property passed as a parameter sqoop import \ --connect jdbc:m
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
解决sqoop2 数据分隔符为 ',' 以及 string类型数据存在单引号('数据')问题（通过改变源码编译解决 ---可以从源头彻底解决）
04-03
说明： 版本为：sqoop2-1.99.5-cdh5.10.2 解决数据分隔符 以及 string类型数据存在单引号问题(解决方式 通过更改源码SqoopIDFUtils 里面的分隔符来解决此问题 ) ​ 只需要将以下包进行替换 connector-sdk-1.99.5-...
实战Sqoop数据导入及大数据用户行为案例分析
02-20
07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_案例分析-源表的分区加载创建 12_案例分析-指标分析使用Sqoop导出
sqoop2的安装包
12-18
sqoop2安装包。
slp多线程编程小结
qq_41557631的博客
12-21 371
Windows编程 多线程编程：`/* ThreadedClient.cpp A threaded database client. */ #include #include “servers.h” #ifdef _MSC_VER #include <windows.h> #include <winbase.h> #include <process.h> t...
sqoop 完整学习和遇到的错误
C_CXY2333的博客
09-21 612
sqoop 学习与问题 配置问题：centos7 与sqoop1.4.7,使用比较好一些。centos6与sqoop1.4.6一起使用比较好一些。如果在centos6版本中使用sqoop1.4.7会需要修改很多配置。具体会在后面提到 1、sqoop原理 实现数据的导入导出 将导入或到处命令翻译成mapreduce程序来实现的 在翻译出的mapreduce中主要是对inputformat和out...
临时记录：Sqoop导出mysql至hdfs 遇到mysql数据中包含换行符导致数据错位&sqoop增量merge时报错
yueyinmian的博客
05-20 1160
错误原因如题：报错关键字： sqoop Opening field-encloser expected at position 0 报错信息分析：sqoop做merge时期望在位置0时有列分隔符 会出现各种位置，跟mysql字段有关，换行符导致数据放入了第二行，merge时报错 解决方法：sqoop增加神奇的字段：--hive-drop-import-delims 指定导入时删除hive的...
sqoop 使用心得(sqoop增量倒入)
liangpz521的技术资料库
09-29 1617
sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题。 一  业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的， 1 把hive查询结果直接进入Hive的表a（a表需要创建，结构需要和b一样） 2 通过sqoop把表a的内容导入到MySql表b（b表已经存在）， 这个时候你需要现在hive上创建a表，假如b表字段很多
【Sqoop】sqoop导入数据时的错误
Dekazhuo的博客
04-07 676
导入到Hive 错误1： ERROR tool.ImportAllTablesTool: Encountered IOException running import job: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop...
关于sqoop增量导入过程中，文件合并遇到的问题。
weixin_30765475的博客
01-12 530
今天在多sqoop的增量导入操作，遇到下面这个问题（报错如下）： 2019-01-12 14:20:54,332 FATAL [IPC Server handler 0 on 38807] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1546053074766_0445_m_000000_0 - exited...
sqoop推数数据错误问题
Sin_Geek成长の迹
01-31 482
背景 在项目中使用sqoop往oracle推小数的时候发生数据异常的情况 原因 sqoop使用的oracle jdbc包版本太低，项目使用的是oracle 11g的版本，sqoop里的jdbc包是ojdbc14，是针对oracle 10的版本，针对11g版本至少是ojdbc5. 方案 直接换成ojdbc7，解决。 ...
sqoop自动增量导入 报错
Rocky
06-15 1137
在Sqoop的查询案例中可能会出现以下的报错： [admin@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ bin/sqoop import \ &gt; --connect jdbc:mysql://hadoop102:3306/company \ &gt; --user root \ &gt; --password root \ &gt; -...
sqoop从mysql导入增量及更新的导入方式是什么,举一个实例,写一个mysql导入的sqoop代码
最新发布
07-12
对于使用Sqoop从MySQL导入增量数据的方式，可以使用Sqoop的`--incremental`参数结合`lastmodified`或者`append`模式来实现。 举一个实例，假设我们想要从MySQL的表`employees`导入增量数据到Hadoop的目录`/user/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值