sqoop把mysql数据导入hive出现杀死进程155怎么解决

于 2024-02-22 21:13:32 发布
阅读量347 收藏 9
点赞数 9
文章标签： sqoop mysql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73839699/article/details/136243299
版权
这篇文章描述了在使用ApacheSqoop工具从Hive中导入数据时遇到的问题，具体表现为HiveImport执行时返回错误代码101和155，导致IOException。
摘要由CSDN通过智能技术生成


2024-02-22 21:10:51,972 INFO  [Thread-94] hive.HiveImport: FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hdfs.DFSClient.getKeyProvider()Lorg/apache/hadoop/crypto/key/KeyProvider;
2024-02-22 21:10:52,451 ERROR [main] tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 155
        at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:384)
        at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
        at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
 

PythonCM
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
使用Sqoop从mysql导入到hive异常
LFQ244117370的博客
07-20 303
21/07/20 22:25:39 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50) at org.apache.sqoop.hiv.
sqoop mysql导入hive报错_sqoop 从mysql导入数据到hive报错
weixin_33291014的博客
01-20 435
ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:389)at or...
sqoop导入hive遇到的错误
贾宝的博客
12-17 1566
ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@77e4c80f is still active. No statements may be issued when any streami...
sqoop 从mysql导入数据到hive报错
weixin_34232744的博客
01-13 272
2019独角兽企业重金招聘Python工程师标准>>> ...
sqoop导入mysql报错_sqoop把mysql导入hive时报错：Could not load org.apache.hadoop.hive.conf.HiveConf....
weixin_33431252的博客
02-11 104
环境：CDH5.7hadoop2.6.0hive1.1.0问题1：使用sqoop把mysql导入hive时报错# sqoop import --hive-import --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop -m 1 --table nodist --create-hive-tab...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
sqoop把mysql数据导入hbase2.1.6
03-13
首先，Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive，还能直接导入到HBase。关键在于正确使用参数： 1. `--hbase-table`：此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话，数据将被导入...
sqoop从mysql到hive的时间字段问题
01-07
一、问题发现与分析 ...经过对比：sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题：默认先转为对应时间戳，再转换为北京市区时间，就会使时间多8小时。 解决办法有两个： 1、在sql里将时间字段转换为
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
最新发布
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
数据同步Sqoop用法之mysql与Hive导入导出.docx
11-12
Sqoop 提供了灵活的数据导入方式，可以将 MySQL 数据库中的数据导入到 Hive 表中。例如，以下命令可以将 MySQL 数据库中的 people_access_log 表导入到 Hive 表 web.people_access_log 中： sqoop import \ --...
Hive 删除表或导入数据卡死
大能人powerman的博客
03-10 3564
项目场景： 通过HQL删除表和导入数据 问题描述 Hive 删除表或导入数据卡死,同时也不报错，一直停留在HQL页面，也不执行。 drop table XXX 原因分析： Hive中表有锁 解决方案： 查看是否有锁： show locks 【说明】：发现有的表有锁有的表无锁，但还是删除不了 【注】hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X） 触发共享锁的操作是可以并发执行的 但是触发互斥锁，那么该表和该分区就不能并发的执行作业了。 解锁[存在锁]: u
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1045
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
Sqoop导入Hive报错:ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 64
ShiningBlueOcean
03-06 2728
20/03/06 16:06:30 ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 64 at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:384) at org.apac...
大数据——那些年走过的坑（异常报错解决方案，持续更新）
热门推荐
Vicky_Tang
08-03 1万+
1. Sqoop将mysql中表导入到hive遇到 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 2021-08-03 21:13:28,937 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure
将mysql表中数据导入到hive分区事务桶表
健康平安的活着的专栏
07-10 736
3.1.1逻辑描述 1.删除hv_orders_user_buckets表中对应分区的数据 2.按指定日期从mysql中的数据库查询数据orders0-9和orders_user0-9表的数据导入到hive中的hv_orders_user表指定的分区中。Hv_orders_user是一个分区表，不具有事务 3.将hv_orders_user表中的数据按分区导入到hv_orders_user...
Sqoop导入数据异常处理
cny0120的博客
01-30 807
1.错误提示(没有json.jar包) 19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import...
使用Sqoop工具把mysql的表往Hive import的时候发生的错误解决
ckru3012593的博客
05-29 360
执行的语句： sqoop import --connect jdbc:mysql://master:3306/company --username root --password Omputer123? --table emp...
sqoop使用过程中遇到的坑
hyj
06-29 2308
一、mysql和hive互相当导入时遇到的 注意：为了避免其他问题最好先将hive配置文件下的hive-site.xml复制到sqoop配置文件夹下并保持一致； 1、错误一 19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 19/06/05 10:03:38 ERROR tool.
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到Hive报错
weixin_32946431的博客
01-20 413
第一阶段的到HDFS的阶段没问题，MR作业也能正常完成，但是第二阶段Loading uploaded data into Hive的过程出错了。错误的日志如下：15/10/23 14:34:18 INFO mapreduce.ImportJobBase: Transferred 30 bytes in 31.2422 seconds (0.9602 bytes/sec)15/10/23 14:3...
使用Sqoop将MySQL数据导入hive
05-13
可以使用Sqoop将MySQL数据导入Hive，具体步骤如下： 1. 安装Sqoop并配置好环境变量。 2. 在Hive中创建好要导入数据的表。 3. 在MySQL中创建好要导入的数据表。 4. 在命令行中执行以下命令，将MySQL数据导入到Hive中的表中： ``` sqoop import \ --connect jdbc:mysql://<mysql_host>/<mysql_database> \ --username <mysql_username> \ --password <mysql_password> \ --table <mysql_table> \ --hive-import \ --hive-table <hive_table> \ --create-hive-table \ --hive-overwrite \ --null-string '\\N' \ --null-non-string '\\N' ``` 其中，`<mysql_host>`是MySQL的主机名，`<mysql_database>`是MySQL的数据库名，`<mysql_username>`是MySQL的用户名，`<mysql_password>`是MySQL的密码，`<mysql_table>`是要导入的MySQL表名，`<hive_table>`是要导入到Hive中的表名。 `--hive-import`表示将数据导入到Hive中，`--hive-table`指定要导入到的Hive表名，`--create-hive-table`表示如果Hive中不存在该表，则创建该表，`--hive-overwrite`表示如果Hive表中已经存在数据，则覆盖原有数据，`--null-string '\\N'`和`--null-non-string '\\N'`表示将MySQL中的空字符串转换为Hive中的NULL值。 5. 执行完命令后，就可以在Hive中查询到导入的数据了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PythonCM

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值