数据仓库增量数据抽取_按照数据量批量提交数据

针对Oracle数据库中大数据量的增量抽取问题,本文提出了一种优化方案:通过批量提取游标和批量插入数据,降低PL/SQL引擎与SQL引擎的交互次数,以显著提高数据仓库ETL过程的效率。

1、案例说明

在Oracle数据库中,对于大表,大数据量的增量抽取一般抽取效率都是比较低,可以考虑使用批量提取游标,批量插入数据。从而减少PL/SQL引擎和SQL引擎之间的交互,提高数据抽取效率。

2、环境准备

目标表:DWD_TGT_TAB_D

源表:ODS_SOURCE_TABLE

3、存过实现

CREATE OR REPLACE PROCEDURE SP_BAT_DWD_TGT_TAB_D(P_START_DATE DATE,
                                            P_END_DATE   DATE) AS
  /* ================================================================================= *\
   *   
   *   名称:   批量数据加载
   *   参数:
   *   描述:1:防止重复数据导入,先删除
             2:根据相应条件插入对应起始日期到结束日期的数据
             3:该存储过程删除数据采用分区TRUNCATE
   *   修改日志:
  \* ================================================================================= */
  V_PARTNAME     VARCHAR2(200); --分区名称
  V_SQL_TRUNCATE VARCHAR2(2000); --删除表分区数据脚本
  V_TBL          VA
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ben@dw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值