如果一个结果集包含三个结果子集,用到三分源数据,但是结果子集1只用到源数据1,结果子集2只用到源数据1和源数据2,结果子集3只用到源数据1和源数据3,那么应当拆分成三个程序,产生三个结果集。
程序读取数据到内存,如果一天的数据集过大,应当按照小时粒度执行。
单条结果计算执行速度过慢,应当1、拆表,2、多线程,3、加机器
如果一个结果集包含三个结果子集,用到三分源数据,但是结果子集1只用到源数据1,结果子集2只用到源数据1和源数据2,结果子集3只用到源数据1和源数据3,那么应当拆分成三个程序,产生三个结果集。
程序读取数据到内存,如果一天的数据集过大,应当按照小时粒度执行。
单条结果计算执行速度过慢,应当1、拆表,2、多线程,3、加机器