记录一个Hive的一个报错

报错日志

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

报错场景

Hive版本:3.0
执行引擎:MapReduce

往表中进行insert into操作,出现报错,具体情况往下看

开始验证

1 准备好 2 张表

student1,student2

1) 建表
CREATE TABLE student1 (
    name     string comment '姓名',
    age      int    comment '年龄',
    score    double comment '分数'
)
COMMENT '学生表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
;

-- 创建表student2,结构和student1保持一致
create table student2 like student1;
2) 准备数据

张三 18 69
李四 28 88.5
网二 23 87

往表student1中加载原始数据

LOAD DATA LOCAL INPATH '/data/shell/student.txt' INTO TABLE student1;

查看表student结果

select * from student1;
结果:
张三 18 69
李四 28 88.5
网二 23 87

数据正常

3) 往表student2中插入数据
-- 1、into方式插入数据
insert into table student2
select name,age,score from student1;

第一次insert into 正常执行且查询结果无误

-- 2、再次往表student2中插入数据
insert into table student2
select name,age,score from student1;

第二次insert into 执行快结束的时候出现了报错,报错结果为下面所示

# 如黄色部分所示
Loading data to table default.student2
`FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask`
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 4.73 sec   HDFS Read: 15711 HDFS Write: 353 SUCCESS

查询表中数据得到

hive> select * from student2;
OK
张三	18	69.0
李四	28	88.5
网二	23	87.0
张三	18	69.0
李四	28	88.5
网二	23	87.0

再次以insert into 方式插入依旧报错,此处略去…

-- 3、以insert overwrite方式插入
insert overwrite table student2
select name,age,score from student1;

如果再insert overwrite方式插入,则正常执行,并且覆盖了原有的数据,并且数据正常。

-- 4、再次insert into 方式插入数据
insert into table student2
select name,age,score from student1;

很奇怪的发现发现还是同样的报错,并且找不到解决的方法,头疼…

-- 5、把表先truncate,再插入
truncate table student2;
-- 5.1 truncate之后第一次 into 插入数据
insert into table student2
select name,age,score from student1;

truncate之后第一次插入正常,没有报错,数据结果也是OK的,以为和表中没数据了有关系,继续测试

-- 5.2 truncate之后第二次 into 插入数据
insert into table student2
select name,age,score from student1;

此时应该很惊讶的,这次的insert into也没有报错,这是why? 难道和truncate操作有关?
接着继续测试…

4) 往表student3中插入数据

准备好表student3 表结构和student1保持一致
这一次,我在建好表之后不做任何操作,进行truncate操作

create table studnet3 like student1;
truncate table student3;
-- 1.第一次往表student3中以insert into方式插入数据
insert into table student3
select name,age,score from student1;

没有意外的会发现,第一次正常执行,并且表student3中数据正常。

-- 2.第二次以insert into 方式插入数据
insert into table student3
select name,age,score from student1;

喔喔喔…
天哪,居然没有报错的执行成功了,并且表中数据也是正常的,这是为啥呢?

查了有关资料,不知道具体原因是什么,有知道的小伙伴可以留言我,帮我解答一下困惑,谢谢!!!

如果以后有遇到这种报错的,可以把表先truncate一下试试看。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
回答: 当在Hive中查询decimal类型字段时报错,可能是由于以下原因导致的。首先,Hive中的decimal字段默认精度为0,如果不指定小数点,数据将被四舍五入。例如,0.82在Hive中会变成1。因此,在建表时最好指定精度,如decimal(10,2)。\[1\]其次,当使用Sqoop导出数据时,需要注意设置--input-null-string '\\N'和--input-null-non-string '\\N'这两个参数。因为Hive中的null默认是\N,而Sqoop在导出数据时会解析\N。如果目标关系型数据库中的表字段不是string类型,就会报错。通过设置这两个参数,Sqoop会知道\N表示null,而不会将其解析为字符。\[2\]最后,如果在修改了字段类型后,表的schema发生了变化,而之前的分区仍然使用旧的schema,就会导致表和分区的schema不一致,从而导致select报错。在这种情况下,需要更新分区的schema以与表的schema保持一致。\[3\] #### 引用[.reference_title] - *1* *2* [Hadoop记录——hive中的decimal字段,shell的数据类型以及sqoop导出空string报错](https://blog.csdn.net/chenKFKevin/article/details/53199925)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [hive字段类型修改问题总结](https://blog.csdn.net/qq_36302506/article/details/117091191)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值