Sqoop进行导入数据到Hive时报错：ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExc

最新推荐文章于 2023-01-13 11:36:12 发布
最新推荐文章于 2023-01-13 11:36:12 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 问题记录 文章标签： hive sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45263520/article/details/124513877
版权

项目场景：

使用版本：Sqoop1.4.7、hive3.1.2

问题描述

在使用Sqoop进行MySQL数据导入到Hive的过程中出现一下错误提示。ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExceptionorg.apache.hadoop.hive.conf.HiveConf
如图所示
在这里插入图片描述

解决方案：

在Hive的lib下拷贝hive-common-3.1.2.jar文件，然后放到Sqoop的lib目录下即可解决上述问题。如下图所示
在这里插入图片描述

Mercury_春秋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
sqoop常见错误
weixin_42947670的博客
08-15 1882
常见错误： 错误一：ERROR tool.ImportTool: Import failed: java.io.IOException: Generating splits for a textual index column allowed only in case of “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” property passed as a parameter sqoop import \ --connect jdbc:m
sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed
最新发布
qq_43688472的博客
07-17 867
sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed 图片： 可能是文件权限 修改hive数据仓库权限 hadoop fs -chmod 777 /user/hive hadoop fs -chmod 777 /user/hive/warehouse
ERROR tool.ImportTool: Import failed: java.io.IOException: Hive does not support the SQL type for co
小海的专栏
07-21 5579
使用Sqoop导出oracle数据到hive的时候遇到一个报错，意思是hive不知支持oracle的这个字段类型。 ERROR tool.ImportTool: Import failed: java.io.IOException: Hive does not support the SQL type for column CONT_DOC_DESC ERROR tool.Impo
Hive报错ERROR tool.ImportTool: Import failed: java.io.IOException: Hive CliDriver exited with status=1
邵奈一的博客
01-13 1265
其实，这块的解决办法是Sqoop的–hive-table写错表名了，指定到了一个已经存在的表，而且我还加了参数–create-hive-table。
import java.io后报错_sqoop mysql--->hive 报错 （ERROR tool.ImportTool: Import failed: java.io.IOExceptio...
weixin_33089345的博客
02-16 404
18/08/22 13:30:53 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConfat org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveC...
Atlas2.3.0依赖： org.restlet/sqoop-1.4.6.2.3.99.0-195
02-19
在IT行业中，我们经常涉及到各种库和框架的集成与使用，这次我们关注的是"Atlas2.3.0"依赖的组件："org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件：`sqoop-1.4.6.2.3.99.0-195.jar`，`...
java-json.jar （sqoop必备的jar包）
10-15
ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Job jjoobb already exists at org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.create(HsqldbJobStorage.java:373) ...
yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive
04-29
【标题】"yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive" 描述了一种使用Apache Sqoop工具将数据从MySQL数据库高效地导入到Hadoop的Hive数据仓库的过程。这个过程在大数据处理中至关重要，因为它允许用户...
bdp2hive:生成hive分区表、sqoop导入数据至hive
04-28
bdp2hive项目介绍一、概述项目主要是集成生成sqoop脚本和创建hive分区表组件。生成sqoop脚本组件主要通过传递的数据库信息查询数据库获取表字段与数据集之间的对照关系SQL语句，通过模板拼接成sqoop脚本，上传服务器...
数据同步Sqoop用法之mysql与Hive导入导出.docx
11-12
Sqoop 提供了灵活的数据导入方式，可以将 MySQL 数据库中的数据导入到 Hive 表中。例如，以下命令可以将 MySQL 数据库中的 people_access_log 表导入到 Hive 表 web.people_access_log 中： sqoop import \ --...
sqoop export mysql_请教sqoop工具把hive中的表导出到mysql报错问题
weixin_39747293的博客
01-30 196
该楼层疑似违规已被系统折叠隐藏此楼查看此楼java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: new_users_countsat org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:489)at org...
Sqoop异常解决ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No
热门推荐
烂笔头的专栏
11-03 1万+
最近在做mysql数据导入hive的工作，先前导入的时候没有问题，这两天导另外一张表总是提示 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter 问题，网上有说是mysql-connector-j
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
GentleCAT_1的博客
06-10 925
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue1、字段属性不匹配
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 758
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1
舒克的博客
03-30 6953
[root@node2 sqoop-1.4.6]# sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username SKY --password 123456 --table GJJY20150613 -m 8 --hive-import Warning: /home/sqoop-1.4.6//../hcat
ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 64
我是泛滥
05-20 4726
sqoop的 迁移数据到hive的报错 20/05/20 16:38:16 ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 64 at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:384) at org.apache.sqoop.hive.HiveImport.executeScri
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1296
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
Sqoop -error- ERROR tool.ImportTool: Import failed: java.io.IOException: No columns t generate for C
99滴神
05-17 937
利用sqoop从mysql导入hive报错如下： 21/05/17 21:54:07 ERROR tool.ImportTool: Import failed: java.io.IOException: No columns t generate for ClassWriter at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1677) at org.apache.sqoop.tool.CodeG...
ERROR tool.ImportTool: Import failed: java.io.IOException: No columns to generate for ClassWriter
06-12
这个错误提示通常是由于 Sqoop 无法正确读取数据表的元数据信息，可能是因为数据表中没有任何列。 可以尝试以下解决方法： 1. 确认在 Sqoop 命令中正确指定了数据表的名称和数据库连接参数。可以使用 sqoop list-tables 命令检查数据库中是否存在该表。 2. 检查数据表是否为空。如果数据表中没有任何数据行，则 Sqoop 将无法读取元数据信息。 3. 确保数据表中至少有一列。可以使用 MySQL 命令行客户端或其它数据库管理工具检查数据表结构。 4. 如果数据表中存在大量列或者列名较长，可以尝试使用 --columns 参数指定要导入的列名，例如： ``` sqoop import --connect jdbc:mysql://localhost/db --username user --password pass --table mytable --columns "col1,col2,col3" --target-dir /user/hive/warehouse/db/mytable ``` 希望这些方法能够帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mercury_春秋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值