场景:
select
From tablex
tablex条数很多,或者分区很多。
任务是小时调度,每次都要取tablex前3天的数据,这样造成调用资源(odps实例)很多,1000+。
解决方法:拆解
凌晨将前一天的数据存到一个新表tablenew,占用实例280+。
每次调用时,从tablenew中取3天的数据,发现调用资源(odps实例)大大减少,180+。
场景:
select
From tablex
tablex条数很多,或者分区很多。
任务是小时调度,每次都要取tablex前3天的数据,这样造成调用资源(odps实例)很多,1000+。
解决方法:拆解
凌晨将前一天的数据存到一个新表tablenew,占用实例280+。
每次调用时,从tablenew中取3天的数据,发现调用资源(odps实例)大大减少,180+。