大数据应用时Oracle优化实例

从上篇的原理，解决实际项目的问题，遇到一个优化问题：

•一个月没有执行完的SQL:

•业务边IO及CPU占用 TOP 1

•需要业务理解的SQL

•底层 IO及CPU占用TOP 1

•模型

1、一个月没有执行完的SQL

•Mergetb_wz_allusing tb_wz_all@tocais

•优化过程如下：

•使用分而治之思想（不仅仅局限此一类，有关大量查找， 大量（或全表）插入或修改等均是适用的）：

•打开相同id in[minID, maxID]块，同时进行相同的排序;

•cursorc_wz_all(minIDnumber, maxIDnumber) is

•    select *

•      from tb_wz_all

•     where id >= minID

•       and id < maxID

•     order by id;

• 

•cursor c_wz_all_tocais(minIDnumber, maxIDnumber) is

•    select *

•      from tb_wz_all@tocais

•     where id >= minID andid < maxID

•       and lastupdate_date >

•           to_date(v_tbWzAll_lastUpdateDate, 'yyyy-mm-ddhh24:mi:ss')

•       and ym_top not in ('nslook007.com', …  'nb-114.com')

•     order by id;

• 

•得到整个个过程的范围：

•selectmin(id), max(id)

•      into v_wz_all_minID, v_wz_all_maxID

•      from tb_wz_all@tocais

•     where lastupdate_date >

•           to_date(v_tbWzall_lastUpdateDate, 'yyyy-mm-ddhh24:mi:ss');   

• 

•调整NUM_ROWS值，即一次取多小条控制参数：

•    if v_wz_all_maxID - v_wz_all_minID <20000 then

•      NUM_ROWS := v_wz_all_maxID - v_wz_all_minID;

•    else

•      NUM_ROWS := floor((v_wz_all_maxID - v_wz_all_minID) /1000);

•      if (NUM_ROWS < 10000) then

•        NUM_ROWS := 10000;

•      end if;

•endif;

• 

•    //初始化

•    v_curID := v_wz_all_minID;

//整个过程处理

while v_curID <=v_wz_all_maxID loop

 

 //分块处理