打开公司集群,隔三差五就有skaftersales_asmp任务报错
点进去一看原来是这个子任务出错
(1)定位到dws_sk_dealer_repair_count_day这张hive表
原因:没有前一天数据导致删除失败,也没有生成今天的数据
(2)继续查看这张表数据来自于dhi_sk_repair_deed_tmp表
(3)接下来查到数据是来自于我年前创建的tt_repair_deed_tmp表
我的锅??
(4)立刻查询该表数据,竟然有最新数据
神马情况??
(5)于是回头看生成dhi_sk_repair_deed_tmp数据SQL
有一行引起了我的注意
partition_date >= concat(year(date_sub(CURRENT_DATE,day(CURRENT_DATE))),month(date_sub(CURRENT_DATE,day(CURRENT_DATE))))
竟然不是标准年月格式:201901
于是修改成最新代码:
partition_date >= concat(year(date_sub(CURRENT_DATE,day(CURRENT_DATE))),lpad(month(date_sub(CURRENT_DATE,day(CURRENT_DATE))),2,0))
有时候一个小问题考虑不周全,就会引起生产上的大问题!
时刻提醒自己,做技术的严谨务实才是王道。