【sqoop】使用sqoop将mysql表导入hive报错Output directory already exists

最新推荐文章于 2024-09-26 09:25:00 发布
最新推荐文章于 2024-09-26 09:25:00 发布
阅读量2.5k 收藏
点赞数
分类专栏： 大数据报错 文章标签： output目录 --target-dir 参数错误 sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/debimeng/article/details/102056780
版权
当使用sqoop从mysql导入数据到hive时遇到'Output directory already exists'错误，原因是输出目录已存在。错误堆栈显示在提交job时遇到FileAlreadyExistsException。解决方案是检查--target-dir参数，确保使用双引号包裹变量`${target_dir}`，以正确解析变量。
摘要由CSDN通过智能技术生成

使用sqoop将mysql表导入hive报错Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists

场景：
使用sqoop将mysql表导入hive报错如下：
ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:164)
?       at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:280)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
        at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.

最低0.47元/天 解锁文章
debimeng
关注
专栏目录
【大数据入门核心技术-Sqoop】（四）使用Sqoop将MySQL数据导入到HDFS
12-13 992
sqoop import \ --connect jdbc:mysql://hadoop101:3306/sqoop_test?useSSL=false \ --username root \ --password 123456 \ --query 'select sid,sname from student where $CONDITIONS ' \ --target-dir /sqooptest/query \ --delete-target-dir \ --num-mappers 1 \ --fiel
用sqoop将数据从mysql导入hive报错：org.apache.hadoop.mapred.FileAlreadyExistsException: Output
weixin_49180684的博客
08-03 1736
报错信息 利用sqoop将数据从myslq导入hive时候，可能会报如下错误 解决办法 上诉错误是因为在 sqoop的 lib 目录下，缺少一个 hive的 lib 的目录下的一个 jar 包 需要将hive-common-2.3.3.jar 包，复制到sqoop的lib目录下 cp /opt/software/hive/hive/lib/hive-common-3.1.2.jar /opt/software/sqoop/sqoop/lib/ ...
sqoop mysql导入hive_使用sqoop从mysql向hive导入数据报错
weixin_39809793的博客
01-19 613
使用sqoop从mysql向hive导数据时出现出错：Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient[grid@rhel0 ~]$ sqoop import --connect jdbc:mysql://192.168.122.100:3306/sqoop --username sqoop -P ...
DS:ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException错误
最新发布
qq_62984376的博客
09-26 680
当我们使用dolphinscheduler（DS）调度工具，将mysql的数据增量导入至hive中的时候，可能会报出以下错误或这样的错误。
sqoop导数据提示：Output directory xxx already exists
weixin_34148508的博客
12-26 762
2019独角兽企业重金招聘Python工程师标准>>> ...
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1328
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
sqoop:导入问题：FileAlreadyExistsException: Output directory hdfs://ambari1:8020/user/hdfs/THTF_TABLE_AI
shileimohan的专栏
08-08 663
hadoop fs -ls -R：可查看目录。 hadoop fs -rmr output:删掉输出文件。 MapReduce执行是不允许输出目录存在的，自动创建！
sqoop导入数据到mysql出错问题
boqiangqing9840的博客
07-14 2113
sqoop export –connect jdbc:mysql://localhost:3306/xiandian –username root –password 000000 –export-dir /1daoyun/data/hive/phy_course_xd.txt –table xd_phy_course;第一次用了以上命令导入时，因为没有输入文本数据的格式，导入数据失败。而后用另一...
使用sqoop导入导出mysql、hdfs、hive出现的问题
小太阳~
07-15 7372
问题1：java.lang.ClassNotFoundException: Class widgets not found执行的命令：sqoop import --connect jdbc:mysql://localhost:3306/hadoopguide --username root --password root --table widgets //其中，hadoopguide是数据库名称
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1424
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
sqoop将hive中数据导入mysql（实例讲解）
Saint
07-02 4020
假设这样一个场景： 数据已经导入hive（hive实例讲解看这里），现在要把hive中数据库导入出到（mysql）关系型数据库中，这里使用的工具是sqoop(sqoop详细讲解看这里)。 该怎么处理呢？ 首先，我们需要的是在mysql中建立对应的表，数据字段类型与hive数据表中要导出的数据类型保持一致； 然后，我们需要在假如你不是需要原样输出而是需要经过计算统计的话，就需要写在h...
sqoop 从hive中导出数据到mysql遇到的错误及解决方法
qq_39886984的博客
10-07 4541
以下是sqoop语句： ./sqoop export –connect jdbc:mysql://localhost:3306/newtext –username root --password “root” –table emp –fields-terminated-by ‘\t’ –export-dir /user/hive/warehouse/bt88.db/emp1 -m 1 ...
使用sqoop导出mysql数据时错误处理【com.mysql.jdbc.RowDataDynami】
日进一步
06-24 2359
故障现象在HDP sandbox中使用sqoop导出mysql数据报错18/06/24 07:03:31 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 18/06/24 07:03:31 INFO tool.CodeGenTool: Beginning code generation 18/06/2...
sqoop将Mysql数据导入Hive中
Stay Focused And Work Hard !!!
12-14 9753
注：笔者用的是sqoop1.4.6版本 一、将Mysql数据导入Hive中命令：sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:mysql://xxx:3306/db --username user --password pwd --table tablename --hive-
关于sqoop抽取数据时显示ERROR ：/QueryResult.java‘ already exists 解读
weixin_49739324的博客
07-16 1646
关于sqoop抽取数据时显示ERROR ：/QueryResult.java’ already exists 解读 报错日志 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-root/compile/dbe2b7e5c6580812b8d03220e58cb306/QueryResult.java to /opt/./QueryResult.java. Error: Destination '/opt/./QueryResult.java'
sqoop报错Output directory hdfs://mihaoyu151:9000/user/root/student already exists
qq_51903852的博客
11-23 1218
错误日志 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://mihaoyu151:9000/user/root/student already exists [root@mihaoyu151 ~]# sqoop import \ > --connect jdbc:my
HIVE：表中插入数据出错
ZJ18712852367的博客
08-11 6061
在hive中创建表t，id int ，name string ，age int如下图 hive> desc t; OK id int name string age int 向表中插入数据 hive> insert into t (id,name,age)...
mysql导入一半_关于sqoop导出数据到mysql导出一半的时候出错的解决方案（:Data truncation: Data too long for column 'BORROWERNAME' ...
weixin_39586265的博客
01-20 449
最近在做数据迁移的工作，使用到sqoop的导入和导出工具，具体操作是将hive当中的数据查询出来插入到新的表当中，然后将数据又导入到mysql的关系型数据库当中。我将数据插入到hive将的一个新的表当中，但是那插入到一半的时候数据就插入不进去了，一直纳闷怎么可能插入一半就插不进去了那，说来也奇怪。于是就去看yarn上面的相关的日志发现报了如下的错误：2018-09-10 08:28:21,009 ...
Output directory hdfs://hadoop01:8020/appendresult already exists
hongchenshijie的博客
12-05 1259
报错详情: 报错原因 输出目录已经存在 解决办法 删掉存在的目录,或者更换输出目录
（7）使用数据迁移工具Sqoop将MySQL数据导入到Hive；需要在hive中创建相同数据库和表吗
06-08
在使用 Sqoop 将 MySQL 数据导入到 Hive 之前，你需要在 Hive 中创建相同的数据库和表。这是因为 Sqoop 将数据导入到 Hive 表中，如果表不存在，Sqoop 将无法导入数据。 你可以使用以下命令在 Hive 中创建一个数据库： ``` CREATE DATABASE IF NOT EXISTS my_db; ``` 这个命令将创建一个名为 `my_db` 的数据库，如果这个数据库已经存在，将不会重新创建。 接下来，你需要在 Hive 中创建一个表来存储从 MySQL 导入的数据。表结构应该与 MySQL 中的表结构相同，否则 Sqoop 将无法正常导入数据。你可以使用以下命令在 Hive 中创建一个表： ``` CREATE EXTERNAL TABLE IF NOT EXISTS my_table ( column1_name column1_type, column2_name column2_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/my_db.db/my_table'; ``` 请注意以下几点： - `my_table` 应该与 MySQL 表的名称相同。 - 列名和数据类型应该与 MySQL 中的表结构相同。 - `ROW FORMAT DELIMITED` 和 `FIELDS TERMINATED BY` 用于指定表中字段的分隔符，这里使用逗号作为分隔符。 - `STORED AS TEXTFILE` 用于指定表中数据的存储格式。 - `LOCATION` 用于指定表中数据的存储位置。 在创建表之后，你可以使用 Sqoop 将 MySQL 中的数据导入到 Hive 中的表中。以下是一个示例 Sqoop 命令： ``` sqoop import \ --connect jdbc:mysql://mysql_host/my_db \ --username root \ --password root_password \ --table my_table \ --hive-import \ --hive-table my_table \ --create-hive-table \ --target-dir /user/hive/warehouse/my_db.db/my_table; ``` 这个命令将从 MySQL 数据库中的 `my_table` 表中导入数据，并将其存储到 Hive 中的 `my_table` 表中。`--hive-import` 参数用于指定将数据导入到 Hive 中，`--hive-table` 参数用于指定 Hive 表的名称，`--create-hive-table` 参数用于在导入数据之前自动创建 Hive 表，`--target-dir` 参数用于指定存储数据的目录。 请注意，你需要替换示例命令中的数据库名称、用户名、密码以及存储位置等参数，以确保正确导入数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值