通过Sqoop将Oracle中表导入到HDFS时报错Error during import: No primary key could be found

最新推荐文章于 2023-06-01 08:49:16 发布
最新推荐文章于 2023-06-01 08:49:16 发布
阅读量4.5k 收藏 4
点赞数 2
分类专栏： Hadoop 文章标签： oracle hdfs sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012630060/article/details/70855656
版权
在使用Sqoop 1.4.6从Oracle数据库导入数据到HDFS时遇到Error during import: No primary key could be found错误。该问题是因为表中缺少主键。解决方案包括：1) 在Oracle表中添加主键；2) 使用'-m 1'进行顺序导入，或使用 '--split-by' 参数指定表的列进行分区。推荐使用后者，因为它能提高导入效率。
摘要由CSDN通过智能技术生成

       我的Sqoop版本是1.4.6，在利用Sqoop将Oracle数据导入到HDFS时候回出现一些异常，因此我们我们要注意以下几点：

      sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --table TRANS_GJJY02 --username sky --password 123456 -m 8 --target-dir /usr/input/

      错误：ERROR tool.ImportTool: Error during import: No primary key could be found for table TRANS_GJJY02. Please specify one with --split-by or perform a sequential import with '-m 1'.

      根据错误提示我们可以知道这是因为Oracle表中的数据没有设置主键。而针对这个问题有两种杰解决方案：

      方案一：老老实实地在Oracle表中设置主键，然后再执行这个导入语句，就不会出错。

      方案二：有些数据无法设置主键，比如很多的监测记录数据，找不到唯一值，针对这种数据，我们可

最低0.47元/天 解锁文章
开飞机的舒克贝塔
关注
专栏目录
sqoop导入数据到mysql时报错：ERROR tool.ExportTool: Error during export: Export job failed
weixin_55797565的博客
12-26 2491
ubuntu伪分布式hdfs中用sqoop工具将hive仓库中的数据导出导入到mysql数据库里时出现的错误。 尝试一下 将~/tmp/sqoop-chen/compile/中生成的文件夹里面的.jar.java.calss文件复制到/usr/local/sqoop/lib/文件夹里面，然后再次运行导出导入命令 上面的sqoop-chen目录是 sqoop-用户名 导出导入命令： 上面的解决办法： 再次运行后出现下图代表导出导入成功了： 查看mysql： ...
ERROR tool.ImportTool: Error during import: No primary key could be found for table fullgrouped. Pl
qq_48959845的博客
11-26 496
记录一下 sqoop报错 ERROR tool.ImportTool: Error during import: No primary key could be found for table fullgrouped. Please specify one with --split-by or perform a sequential import with ‘-m 1’. 修改sqoop并行度为1 即 –m 1
sqoop-import报ERROR tool.ImportTool: Import failed: No primary key could be found for table user_info
寻找你的海洋
04-05 2124
使用sqoop-import把数据从mysql导入hdfs时报以下内容，原因是mysql表没有主键 [walker001@walker001 ~]$ sqoop-import \ > --connect 'jdbc:mysql://192.168.220.129:3306/test?characterEncoding=UTF-8' \ > --username root \ > ...
利用SQOOP将数据从数据库导入到HDFS （ ERROR tool.ImportTool: Import failed: No primary key could be found for ta ）
天青色等烟雨 而我在等你
03-21 3365
摘要： 利用SQOOP将数据从数据库导入到HDFS 基本使用如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号CONNE...利用SQOOP将数据从数据库导入到HDFS 基本使用如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.1...
用sqoop从RDB导入数据到HDFS报错：Exception in thread “main“ java.lang.NoClassDefFoundError: org/json/JSONObject
蜂蜜柚子加苦茶
09-29 574
使用sqoop连接数据库时报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject 用sqoop从RDB导入数据到HDFS bin/sqoop-import \ --connect jdbc:mysql://hadoop100:3306/hive \ --driver com.mysql.jdbc.Driver \ --table TBLS \ --username root \ --pass
sqoop导入数据至hdfs错误 You have an error in your SQL syntax；
LZX的博客
11-19 2544
21/11/19 10:14:37 ERROR manager.SqlManager: Error executing statement: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to u
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
Hadoop-Sqoop-Oracle ...当您要将关系数据库中存储的数据导入到HDFS Hadoop引擎时使用。 可以将来自外部系统的数据导入HDFS并以Hive表和HBase表等各种Hadoop文件格式保存。 Sqoop v2仅支持保存到HDFS 在所有与JDBC
# 用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空，报错：Unknown column ‘????‘ in ‘field list‘
mh6666的博客
04-21 1064
用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空 报错如下：
hive源数据通过sqoop数据集成工具导入到mysql报：ERROR tool.ExportTool: Error during export
hellowangxiansheng的博客
04-07 595
除了hive表结构之外，我们再检查一下hive的数据，在hdfs/user/hive/warehouse/co中，可以在linux中hadoop fs -cat /user/hive/warehouse/co查看，为了方便我这里选择在windows中下载查看。在检查后我发现两个表结构是完全一致的，也有可能是hive的分隔符弄错了（–input-fields-terminated-by ‘,’），检查后也没有问题，hive中确实使用建表的’,’作为分隔符，那为什么会报错嘞？desc [表名];
sqoop增量导入oracle,关于sqoop增量导入oracle的数据到HDFS的出现的错误总结
weixin_42373893的博客
04-07 366
下面的代码是增量导入的操作shell脚本#!/bin/bashdatenow=$(date -d 'last day' -I)databases=("FRONTBANK")sqoop import \--connect jdbc:oracle:thin:自己的数据库ip:1521:zdxdb \--username frontbank \--password sdff23s \--table FR...
oracle导入表结构失败,Sqoop导入失败：尝试导入Oracle表时无法转换SQL类型2005(Sqoop Imported Failed: Cannot convert SQL type 200...
weixin_39943586的博客
04-03 479
Sqoop导入失败：尝试导入Oracle表时无法转换SQL类型2005(Sqoop Imported Failed: Cannot convert SQL type 2005 when trying to import Oracle table)尝试从Oracle数据库导入表作为镶木地板文件时，我收到以下错误。ERROR tool.ImportTool: Imported Failed: Cann...
尝试用sqoop将mysql数据导入hdfs中失败==
u013029726的博客
06-11 1684
使用命令行：sqoop import --connect jdbc:mysql://*.*.*.*:3306/test?characterEncoding=UTF-8--username aaa--password 'bbb' -tablelll 尝试将mysql的数据导入到hdfs中，结果一直导入失败，并显示： Warning: /usr/local/sqoop/sqoop/../hba...
hadoop中sqoop导入到hdfs报错
m0_64332220的博客
06-01 336
sqoop中mysql导入hdfs时jdk报错
sqoop导入数据到hdfs权限不足
aj_shang的博客
03-09 487
背景：使用Sqoop从MySQL导入数据到Hive。
使用Sqoop从mysql向hdfs或者hive导入数据时出现的一些错误
weixin_33739523的博客
06-28 759
1.原表没有设置主键，出现错误提示： ERROR tool.ImportTool: Error during import: No primary key could be found for table xxx. Please specify one with --split-by or perform a sequential import with '-m 1' 提示说明的很清楚...
sqoop报错：Please specify one with --split-by or perform a sequential import with ‘-m 1‘.
ypf2019的博客
04-23 836
ERROR tool.ImportTool: Import failed: No primary key could be found for table XXXX. Please specify one with --split-by or perform a sequential import with ‘-m 1’. 导入失败：找不到表XXXX的主键。请使用–split by指定一个，或使用’-m 1’执行顺序导入。 这个是原因是要操作导入或导出数据的表没有主键，提示使用–split-by 字段或.
sqoop
dwjlyl
10-18 1220
Sqoop搭建及基础
SQOOP导入hive表报错
成哥万岁
11-09 1974
sqoop：/sqoop-1.4.6/bin/sqoop import --connect jdbc:oracle:thin:@10.100.100.100:1521:orcl --username aaa --password aaa --table tablename --hive-import -m 1 --fields-terminated-by '\t' --hive-overwrite
sqoop 将oracle数据表导入到HDFS中
最新发布
06-08
可以使用Sqoop将Oracle数据表导入到HDFS中，具体步骤如下： 1. 确认Hadoop集群已经正常启动，并且Oracle数据库已经开启。 2. 在终端中输入以下命令连接到Sqoop： ``` sqoop import --connect jdbc:oracle:thin:@...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值