Spark job failed during runtime. Please check stacktrace for the root cause.报错解释

select
    mid_id,
    dt,
    date_diff,
    count(*)over(partition by mid_id,date_diff) diff_count
from (
     select mid_id,
            dt,
            date_add(dt, -rk) date_diff
     from (
              select mid_id,
                     dt,
                     rank() over (partition by mid_id order by dt) rk
              from (
                       select mid_id,
                              dt
                       from dws_uv_detail_daycount
                       where dt >= date_add('2020-06-20', -6)
                       group by mid_id, dt--日期相关。一个设备在一个日期使用。
                   ) t1
          ) t2
)t3

求最近七天内连续三天活跃用户数时,报错。信息如下:
Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.
原因如下:
①我们把hive的计算引擎替换为spark,有可能是内存不足,。
②有可能是源码不兼容。
如果在计算引擎为MapReduce的hive上运行,是不会报错的。

希望大家可以关注下公众号,会定期分享自己从业经历、技术积累及踩坑经验,支持一下,鞠躬感谢~
在这里插入图片描述
关注公众号,回复“资料全集”,不定期最新大数据业内资讯。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值