sqoop从mysql中导入数据到hive报错解决方法

最新推荐文章于 2022-09-02 16:57:00 发布
最新推荐文章于 2022-09-02 16:57:00 发布
阅读量1.4k 收藏 2
点赞数 2
文章标签： Import failed: java.io.IOException:
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_x_b/article/details/103244136
版权

sqoop版本：sqoop-1.4.7
hive版本：hive-1.1.1
hadoop版本：hadoop-2.6.0
错误描述：使用sqoop将mysql中的数据导入到hive中时一直报错
在这里插入图片描述
原因：hive版本不兼容导致
将hive版本转换为hive-1.1.0

注意：这里还有两个错误；

1：
在这里插入图片描述
遇到这个错误导致sqoop将数据从mysql数据库中导入到hive中时报错；
解决办法：将hive中lib目录下的hive.commo-1.2.1.jar这个jar包拷贝到sqoop的lib目录下
在这里插入图片描述
（2）
在这里插入图片描述
解决办法：将hive中的hive-exec-1.2.1.jar这个jar包拷贝到sqoop的lib目录下

yang_x_b
关注
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
Badme
06-15 1055
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
sqoop mysql导入hive_使用sqoop从mysql向hive导入数据报错
weixin_39809793的博客
01-19 583
使用sqoop从mysql向hive导数据时出现出错：Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient[grid@rhel0 ~]$ sqoop import --connect jdbc:mysql://192.168.122.100:3306/sqoop --username sqoop -P ...
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1309
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
Sqoop从mysql导入数据到hive遇到的问题...
l_l_jh的博客
03-11 1472
这次遇到的坑有点儿玄学。。。。也许是我用的sqoop和hive版本有问题，反正用其他方法解决了 在终端中运行的语句: 语句并没有问题 一开始遇到的情况是这样的: map跑完了100%但是reduce跑都没跑就结束了。。我就很诧异啊 看了hive的日志文件(如果没有修改过，路径就是/tmp/{username}/hive.log,我的用户是root所以路径是/tmp/root/hi...
hbase sqoop 实验_sqoop将mysql数据导入hbase、hive的血与泪
weixin_39693437的博客
12-21 363
一、 需求：(将以下这张表数据导入mysql)由此，编写如下sqoop导入命令sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.1.9/spider --username root --password root --table test_goods --hbase-create-table --...
使用sqoop将mysql中的数据导入Hive时报错
YouMe的博客
09-13 987
1.使用sqoop在hive中创建一个和mysql中数据结构一样的表时报错  ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6302bbb1 is still active. No st...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 794
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
sqoop 从mysql导入数据到hive报错
weixin_34232744的博客
01-13 276
2019独角兽企业重金招聘Python工程师标准>>> ...
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1073
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1403
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
sqoop从mysql数据库导入表数据到hive方法及其报错解决 Hive exited with status 1
Powehi777的博客
05-28 1073
以下为我总结出来的可能的错误原因 1.在sqoop安装文件的 sqoop-env.sh中hive_home的地址未指向正确的hive地址 解决方法：修改env.sh文件中的hive_home 2.在sqoop安装文件的 sqoop-env.sh中配置了hbase_home与hive_home，而安装的hbase和hive版本不匹配造成 解决方法：修改hbase_home，使其指向一个不存在的路径（随便写一个不存在的就行），从而使sqoop调用hive时无法通过错误的路径引用hbase。 以下为我使用的导入表
关于sqoop上传mysql数据到hive报错的问题
weixin_30555515的博客
07-20 172
1、使用sqoop导入mysql数据到hive中，并指定表名，运行如下命令 ./sqoop import --hive-import --connect jdbc:mysql://10.25.134.142:3306/scott --username root --P --table emp --hive-table emp1; 出错，错误信息： ERROR tool.ImportTo...
在使用sqoop拉取mysql的数据到hive中的ods层时，报错ERROR manager.SqlManager，怎么解决？
qq_43368947的博客
07-09 565
问题详情 1.在用sqoop拉取mysql数据到hdfs上映射到hive的ods层的时候，报错数据库权限问题。 2.拉取数据的代码展示 sqoop job --delete ods_user05 sqoop job --create ods_user05 \ -- import \ --connect jdbc:mysql://192.168.1.54:3306/snbap_ods \ --driver com.mysql.jdbc.Driver \ --username root \ --passwor
sqoop导入mysql报错_关于sqoop上传mysql数据到hive报错的问题
weixin_42190623的博客
01-27 265
1、使用sqoop导入mysql数据到hive中，并指定表名，运行如下命令./sqoop import --hive-import --connect jdbc:mysql://10.25.134.142:3306/scott --username root --P --table emp --hive-table emp1;出错，错误信息：ERROR tool.ImportTool: Im...
Sqoop的mysqltohive报错
qq_45626867的博客
11-09 1811
问题描述 执行语句bin/sqoop import --connect jdbc:mysql://localhost:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by '\t' --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigdata Error:
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2180
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到Hive报错
weixin_32946431的博客
01-20 437
第一阶段的到HDFS的阶段没问题，MR作业也能正常完成，但是第二阶段Loading uploaded data into Hive的过程出错了。错误的日志如下：15/10/23 14:34:18 INFO mapreduce.ImportJobBase: Transferred 30 bytes in 31.2422 seconds (0.9602 bytes/sec)15/10/23 14:3...
sqoop从mysql导入到hive常见问题
cclovezbf的博客
09-05 1426
mysql中的数据，表中列出了数据导入过程中的“脏”数据\t，\n，\r，Null，下面列出了解决思路 id=2 这里的des 里面有1个换行符实际为 1234 567 id=3 desc有一个\t 实际为1234 567 id=4 desc is null 如果直接通过一般的sqoop导入语句 bin/sqoop import \ --co...
SQOOP导入hive表报错
成哥万岁
11-09 1974
sqoop：/sqoop-1.4.6/bin/sqoop import --connect jdbc:oracle:thin:@10.100.100.100:1521:orcl --username aaa --password aaa --table tablename --hive-import -m 1 --fields-terminated-by '\t' --hive-overwrite
使用sqoop将数据从mysql导入hive报错
最新发布
06-11
在使用sqoop将数据从mysql导入hive时，可能会遇到各种错误。以下是一些常见的解决方案： 1. 检查MySQL驱动程序是否正确安装，并且在sqoop命令中正确指定驱动程序。 2. 检查源MySQL数据库中的表是否存在，并且在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值