Kettle从MySQL向hive导数据报错

项目场景:

kettle实现从MySQL往hive中导入数据
在这里插入图片描述


问题描述

运行中会报这样一个错误
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask


原因分析:

检查 Hive 的配置参数,特别是与统计信息收集相关的参数。如果统计任务出现问题,可以考虑调整相关参数,例如禁用某些统计信息的收集。
确认 Hive 的存储格式和表属性是否正确设置,不同的存储格式可能对插入和更新操作有不同的要求。
总结:大概率是自动收集时出现了某些错误导致任务被中断了,可以关闭自动收集尝试解决这个问题。


解决方案:

这里我有两种解决方案,希望可以解决你的问题

第一种方案:

如果你曾经在hive中配置过.hiverc 文件你可以在里面加入下面这个配置

set hive.stats.column.autogather=false;

当然如果安装hive时没有设置这个文件可以直接修改hive-site.xml文件里的这条配置,默认为true改为false

    <property>
       <name>hive.stats.autogather</name>
       <value>false</value>
     </property>

第二种方案:

当然自动收集是hive默认开启的,存在是有道理的,我们可以单独的设置,以下这个方法亲测可用,当然原理有待考究,我们重置这个hive表的统计信息(首先你要先有这个表)

analyze table your_table compute statistics;
  • 8
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值