一个实现数据增量加载的ETL算法(记录新增、更新和删除标志)

最新推荐文章于 2022-03-28 14:36:09 发布
最新推荐文章于 2022-03-28 14:36:09 发布
阅读量671 收藏 1
点赞数
文章标签： 数据库 
/*********************************************************************************/
--存储过程名称： P_CONTRACT
--作者：          倪士甲
--时间：          2011-09-16
--使用源表名称:
--使用目标表名称：
--参数说明：      O_RUNSTATUS、O_MSG（传出参数）
--功能：          仓库数据ETL处理
--修改记录
/*********************************************************************************/
PROCEDURE P_CONTRACT
(P_ETLDATE   IN VARCHAR2, --日期参数
O_RUNSTATUS OUT NUMBER, --执行结果
O_MSG       OUT VARCHAR2 --错误返回
) AS
  --PROCEDURE NAME:P_CONTRACT
  --AUTHOR        :倪士甲  2011-09-16
  --UPDATE_AUTHOR :
  --SCRIPT FILE   :P_CONTRACT.SQL
  --定义存储过程信息
 V_PROC_NAME       VARCHAR2(50)   := 'P_CONTRACT';
 V_START_TIMESTAMP TIMESTAMP;                --加载开始时间
 V_END_TIMESTAMP   TIMESTAMP;                --加载结束时间
 V_RECORD_NUMBER   INTEGER;                  --记录数
 --定义错误代码，错误状态
 V_SQLERRM         VARCHAR2(1000);           --异常信息
 V_ERR_SQL         VARCHAR2(1000);           --出错位置
BEGIN
    --0、AP_CONTRACT表LOAN_CLS字段值特殊处理    
   V_ERR_SQL:='1';
    EXECUTE IMMEDIATE 'TRUNCATE TABLE YES_CONTRACT';
    INSERT INTO YES_CONTRACT
      (ID, DATA_DT, AGMT_NO, CONTRACT_NO, LOAN_AMT, AGMT_HOLDER, CUSTOMER_NAME, LOAN_TYPE_CD, AGMT_STATUS_CD, CURR_CD, BALANCE, INTEREST1, INTEREST2, CLASSIFY5, LOAN_DIRC_CD, AGMT_START_DATE, AGMT_END_DATE, AGMT_BELONG_ORG_NO, MANAGER_NO, CORP_SCALE_GB_CD, LOAN_CARD_NO, ACCOUNT_BANK, ACCOUNT_NO, REPAY_PERIOD, FIN_PROM_SCOPE_A, FIN_PROM_SCOPE_B, FIN_PROM_SCOPE_C, CORP_REG_TYPE_CD, LOAN_KIND_CD, SMALL_CORP_FLAG, INDUSTRY_CUST_FLAG, MEAGER_PROFIT_CD, PROCESS_RATE, BASIS_RATE, PUNISH_RATE, OVERDUE_PUNISH_RATE, UPPER_RATE, OVERDUE_UPPER_RATE, RATE_TYPE_CD, TERM_TYPE_CD, SETTLE_RATE_METH_CD, INSURE_METH_TYPE_CD, AGMT_SIGN_DATE, LOAN_PROP_CD, LOAN_USE_TYPE, BANK_CONSORTIUM_FLAG, LOAN_REPAY_TYPE_CD, REPAY_ACCT, APPROVE_NO, LEND_TYPE_CD, RATE_ADJUST_METH_CD, ENTRUST_LOAN_FLAG, ENTRUST_NAME, CURR_RATE, BANK_CONSORTIUM_AGMT_AMT, LEAD_BANK_FLAG, CHARGE_RATE, CHARGE_AMT, LOAN_FORM_CD, ORIG_AGMT_NO, FARM_SYN_DEV_LOAN_FLAG, POVERTY_SUBSIDY_LOAN_FLAG, LEAD_CORP_FLAG, LEAD_CORP_LEVEL_CD, FARM_LOAN_FLAG, FARM_LOAN_TYPE_CD, LOAN_BIZ_TYPE_CD, UPDATEDATE, CHG_FLAG, YSTDY_BALANCE, LOAN_CLS)
      SELECT ID, DATA_DT, AGMT_NO, CONTRACT_NO, LOAN_AMT, AGMT_HOLDER, CUSTOMER_NAME, LOAN_TYPE_CD, AGMT_STATUS_CD, CURR_CD, BALANCE, INTEREST1, INTEREST2, CLASSIFY5, LOAN_DIRC_CD, AGMT_START_DATE, AGMT_END_DATE, AGMT_BELONG_ORG_NO, MANAGER_NO, CORP_SCALE_GB_CD, LOAN_CARD_NO, ACCOUNT_BANK, ACCOUNT_NO, REPAY_PERIOD, FIN_PROM_SCOPE_A, FIN_PROM_SCOPE_B, FIN_PROM_SCOPE_C, CORP_REG_TYPE_CD, LOAN_KIND_CD, SMALL_CORP_FLAG, INDUSTRY_CUST_FLAG, MEAGER_PROFIT_CD, PROCESS_RATE, BASIS_RATE, PUNISH_RATE, OVERDUE_PUNISH_RATE, UPPER_RATE, OVERDUE_UPPER_RATE, RATE_TYPE_CD, TERM_TYPE_CD, SETTLE_RATE_METH_CD, INSURE_METH_TYPE_CD, AGMT_SIGN_DATE, LOAN_PROP_CD, LOAN_USE_TYPE, BANK_CONSORTIUM_FLAG, LOAN_REPAY_TYPE_CD, REPAY_ACCT, APPROVE_NO, LEND_TYPE_CD, RATE_ADJUST_METH_CD, ENTRUST_LOAN_FLAG, ENTRUST_NAME, CURR_RATE, BANK_CONSORTIUM_AGMT_AMT, LEAD_BANK_FLAG, CHARGE_RATE, CHARGE_AMT, LOAN_FORM_CD, ORIG_AGMT_NO, FARM_SYN_DEV_LOAN_FLAG, POVERTY_SUBSIDY_LOAN_FLAG, LEAD_CORP_FLAG, LEAD_CORP_LEVEL_CD, FARM_LOAN_FLAG, FARM_LOAN_TYPE_CD, LOAN_BIZ_TYPE_CD, UPDATEDATE, CHG_FLAG, YSTDY_BALANCE, LOAN_CLS
        FROM AP_CONTRACT
       --WHERE LOAN_CLS IN ('A', 'S')
       ;
    --1、新增当前表存在而AP表不存在的数据  
   V_ERR_SQL:='2';
    INSERT INTO AP_CONTRACT
      (ID,
       DATA_DT,
       AGMT_NO,
       CONTRACT_NO,
       LOAN_AMT,
       AGMT_HOLDER,
       CUSTOMER_NAME,
       LOAN_TYPE_CD,
       AGMT_STATUS_CD,
       CURR_CD,
       BALANCE,
       INTEREST1,
       INTEREST2,
       CLASSIFY5,
       LOAN_DIRC_CD,
       AGMT_START_DATE,
       AGMT_END_DATE,
       AGMT_BELONG_ORG_NO,
       MANAGER_NO,
       CORP_SCALE_GB_CD,
       LOAN_CARD_NO,
       ACCOUNT_BANK,
       ACCOUNT_NO,
       REPAY_PERIOD,
       FIN_PROM_SCOPE_A,
       FIN_PROM_SCOPE_B,
       FIN_PROM_SCOPE_C,
       CORP_REG_TYPE_CD,
       LOAN_KIND_CD,
       SMALL_CORP_FLAG,
       INDUSTRY_CUST_FLAG,
       MEAGER_PROFIT_CD,
       PROCESS_RATE,
       BASIS_RATE,
       PUNISH_RATE,
       OVERDUE_PUNISH_RATE,
       UPPER_RATE,
       OVERDUE_UPPER_RATE,
       RATE_TYPE_CD,
       TERM_TYPE_CD,
       SETTLE_RATE_METH_CD,
       INSURE_METH_TYPE_CD,
       AGMT_SIGN_DATE,
       LOAN_PROP_CD,
       LOAN_USE_TYPE,
       BANK_CONSORTIUM_FLAG,
       LOAN_REPAY_TYPE_CD,
       REPAY_ACCT,
       APPROVE_NO,
       LEND_TYPE_CD,
       RATE_ADJUST_METH_CD,
       ENTRUST_LOAN_FLAG,
       ENTRUST_NAME,
       CURR_RATE,
       BANK_CONSORTIUM_AGMT_AMT,
       LEAD_BANK_FLAG,
       CHARGE_RATE,
       CHARGE_AMT,
       LOAN_FORM_CD,
       ORIG_AGMT_NO,
       FARM_SYN_DEV_LOAN_FLAG,
       POVERTY_SUBSIDY_LOAN_FLAG,
       LEAD_CORP_FLAG,
       LEAD_CORP_LEVEL_CD,
       FARM_LOAN_FLAG,
       FARM_LOAN_TYPE_CD,
       LOAN_BIZ_TYPE_CD,
       UPDATEDATE,
       DATA_STATUS,
       UP_DATE,
       LOAN_CLS, CHG_FLAG, YSTDY_BALANCE)
      SELECT A1.ID,
             A1.DATA_DT,
             A1.AGMT_NO,
             A1.CONTRACT_NO,
             A1.LOAN_AMT,
             A1.AGMT_HOLDER,
             A1.CUSTOMER_NAME,
             A1.LOAN_TYPE_CD,
             A1.AGMT_STATUS_CD,
             A1.CURR_CD,
             A1.BALANCE,
             A1.INTEREST1,
             A1.INTEREST2,
             A1.CLASSIFY5,
             A1.LOAN_DIRC_CD,
             A1.AGMT_START_DATE,
             A1.AGMT_END_DATE,
             A1.AGMT_BELONG_ORG_NO,
             A1.MANAGER_NO,
             A1.CORP_SCALE_GB_CD,
             A1.LOAN_CARD_NO,
             A1.ACCOUNT_BANK,
             A1.ACCOUNT_NO,
             A1.REPAY_PERIOD,
             A1.FIN_PROM_SCOPE_A,
             A1.FIN_PROM_SCOPE_B,
             A1.FIN_PROM_SCOPE_C,
             A1.CORP_REG_TYPE_CD,
             A1.LOAN_KIND_CD,
             A1.SMALL_CORP_FLAG,
             A1.INDUSTRY_CUST_FLAG,
             A1.MEAGER_PROFIT_CD,
             A1.PROCESS_RATE,
             A1.BASIS_RATE,
             A1.PUNISH_RATE,
             A1.OVERDUE_PUNISH_RATE,
             A1.UPPER_RATE,
             A1.OVERDUE_UPPER_RATE,
             A1.RATE_TYPE_CD,
             A1.TERM_TYPE_CD,
             A1.SETTLE_RATE_METH_CD,
             A1.INSURE_METH_TYPE_CD,
             A1.AGMT_SIGN_DATE,
             A1.LOAN_PROP_CD,
             A1.LOAN_USE_TYPE,
             A1.BANK_CONSORTIUM_FLAG,
             A1.LOAN_REPAY_TYPE_CD,
             A1.REPAY_ACCT,
             A1.APPROVE_NO,
             A1.LEND_TYPE_CD,
             A1.RATE_ADJUST_METH_CD,
             A1.ENTRUST_LOAN_FLAG,
             A1.ENTRUST_NAME,
             A1.CURR_RATE,
             A1.BANK_CONSORTIUM_AGMT_AMT,
             A1.LEAD_BANK_FLAG,
             A1.CHARGE_RATE,
             A1.CHARGE_AMT,
             A1.LOAN_FORM_CD,
             A1.ORIG_AGMT_NO,
             A1.FARM_SYN_DEV_LOAN_FLAG,
             A1.POVERTY_SUBSIDY_LOAN_FLAG,
             A1.LEAD_CORP_FLAG,
             A1.LEAD_CORP_LEVEL_CD,
             A1.FARM_LOAN_FLAG,
             A1.FARM_LOAN_TYPE_CD,
             A1.LOAN_BIZ_TYPE_CD,
             A1.UPDATEDATE,
             '0', --新增
             TO_CHAR(SYSDATE, 'YYYYMMDD'),
             'N' ,   --新增数据将此字段置为N
             'N',    --因为是新增，昨日余额为空，将其设置为余额未变
             ''      --因为是新增，昨日余额为空
        FROM CUR_CONTRACT A1
       WHERE NOT EXISTS (SELECT 1
                FROM YES_CONTRACT B1
               WHERE A1.AGMT_NO = B1.AGMT_NO
                 AND A1.AGMT_HOLDER = B1.AGMT_HOLDER);
    --2、更新当前表与AP表都有的记录
    --(1)、删除两共有的AP表数据  
   V_ERR_SQL:='3';
    DELETE FROM AP_CONTRACT A1
     WHERE EXISTS (SELECT 1
              FROM CUR_CONTRACT B1
             INNER JOIN YES_CONTRACT B2
                ON B1.AGMT_NO = B2.AGMT_NO
               AND B1.AGMT_HOLDER = B2.AGMT_HOLDER
             WHERE A1.AGMT_NO = B1.AGMT_NO
               AND A1.AGMT_HOLDER = B1.AGMT_HOLDER);
    --(2)、从当前表更新数据到AP表中  
   V_ERR_SQL:='4';
    INSERT INTO AP_CONTRACT
      (ID,
       DATA_DT,
       AGMT_NO,
       CONTRACT_NO,
       LOAN_AMT,
       AGMT_HOLDER,
       CUSTOMER_NAME,
       LOAN_TYPE_CD,
       AGMT_STATUS_CD,
       CURR_CD,
       BALANCE,
       INTEREST1,
       INTEREST2,
       CLASSIFY5,
       LOAN_DIRC_CD,
       AGMT_START_DATE,
       AGMT_END_DATE,
       AGMT_BELONG_ORG_NO,
       MANAGER_NO,
       CORP_SCALE_GB_CD,
       LOAN_CARD_NO,
       ACCOUNT_BANK,
       ACCOUNT_NO,
       REPAY_PERIOD,
       FIN_PROM_SCOPE_A,
       FIN_PROM_SCOPE_B,
       FIN_PROM_SCOPE_C,
       CORP_REG_TYPE_CD,
       LOAN_KIND_CD,
       SMALL_CORP_FLAG,
       INDUSTRY_CUST_FLAG,
       MEAGER_PROFIT_CD,
       PROCESS_RATE,
       BASIS_RATE,
       PUNISH_RATE,
       OVERDUE_PUNISH_RATE,
       UPPER_RATE,
       OVERDUE_UPPER_RATE,
       RATE_TYPE_CD,
       TERM_TYPE_CD,
       SETTLE_RATE_METH_CD,
       INSURE_METH_TYPE_CD,
       AGMT_SIGN_DATE,
       LOAN_PROP_CD,
       LOAN_USE_TYPE,
       BANK_CONSORTIUM_FLAG,
       LOAN_REPAY_TYPE_CD,
       REPAY_ACCT,
       APPROVE_NO,
       LEND_TYPE_CD,
       RATE_ADJUST_METH_CD,
       ENTRUST_LOAN_FLAG,
       ENTRUST_NAME,
       CURR_RATE,
       BANK_CONSORTIUM_AGMT_AMT,
       LEAD_BANK_FLAG,
       CHARGE_RATE,
       CHARGE_AMT,
       LOAN_FORM_CD,
       ORIG_AGMT_NO,
       FARM_SYN_DEV_LOAN_FLAG,
       POVERTY_SUBSIDY_LOAN_FLAG,
       LEAD_CORP_FLAG,
       LEAD_CORP_LEVEL_CD,
       FARM_LOAN_FLAG,
       FARM_LOAN_TYPE_CD,
       LOAN_BIZ_TYPE_CD,
       UPDATEDATE,
       DATA_STATUS,
       UP_DATE,
       LOAN_CLS, CHG_FLAG, YSTDY_BALANCE)
      SELECT A1.ID,
             A1.DATA_DT,
             A1.AGMT_NO,
             A1.CONTRACT_NO,
             A1.LOAN_AMT,
             A1.AGMT_HOLDER,
             A1.CUSTOMER_NAME,
             A1.LOAN_TYPE_CD,
             A1.AGMT_STATUS_CD,
             A1.CURR_CD,
             A1.BALANCE,
             A1.INTEREST1,
             A1.INTEREST2,
             A1.CLASSIFY5,
             A1.LOAN_DIRC_CD,
             A1.AGMT_START_DATE,
             A1.AGMT_END_DATE,
             A1.AGMT_BELONG_ORG_NO,
             A1.MANAGER_NO,
             A1.CORP_SCALE_GB_CD,
             A1.LOAN_CARD_NO,
             A1.ACCOUNT_BANK,
             A1.ACCOUNT_NO,
             A1.REPAY_PERIOD,
             A1.FIN_PROM_SCOPE_A,
             A1.FIN_PROM_SCOPE_B,
             A1.FIN_PROM_SCOPE_C,
             A1.CORP_REG_TYPE_CD,
             A1.LOAN_KIND_CD,
             A1.SMALL_CORP_FLAG,
             A1.INDUSTRY_CUST_FLAG,
             A1.MEAGER_PROFIT_CD,
             A1.PROCESS_RATE,
             A1.BASIS_RATE,
             A1.PUNISH_RATE,
             A1.OVERDUE_PUNISH_RATE,
             A1.UPPER_RATE,
             A1.OVERDUE_UPPER_RATE,
             A1.RATE_TYPE_CD,
             A1.TERM_TYPE_CD,
             A1.SETTLE_RATE_METH_CD,
             A1.INSURE_METH_TYPE_CD,
             A1.AGMT_SIGN_DATE,
             A1.LOAN_PROP_CD,
             A1.LOAN_USE_TYPE,
             A1.BANK_CONSORTIUM_FLAG,
             A1.LOAN_REPAY_TYPE_CD,
             A1.REPAY_ACCT,
             A1.APPROVE_NO,
             A1.LEND_TYPE_CD,
             A1.RATE_ADJUST_METH_CD,
             A1.ENTRUST_LOAN_FLAG,
             A1.ENTRUST_NAME,
             A1.CURR_RATE,
             A1.BANK_CONSORTIUM_AGMT_AMT,
             A1.LEAD_BANK_FLAG,
             A1.CHARGE_RATE,
             A1.CHARGE_AMT,
             A1.LOAN_FORM_CD,
             A1.ORIG_AGMT_NO,
             A1.FARM_SYN_DEV_LOAN_FLAG,
             A1.POVERTY_SUBSIDY_LOAN_FLAG,
             A1.LEAD_CORP_FLAG,
             A1.LEAD_CORP_LEVEL_CD,
             A1.FARM_LOAN_FLAG,
             A1.FARM_LOAN_TYPE_CD,
             A1.LOAN_BIZ_TYPE_CD,
             A1.UPDATEDATE,
             '1', --更新的记录
             TO_CHAR(SYSDATE, 'YYYYMMDD'),
             A2.LOAN_CLS,  --更新数据将此字段沿用老的，不变
             CASE WHEN A1.BALANCE=A2.BALANCE
               THEN 'N'
                  WHEN A2.BALANCE IS NULL
               THEN 'N'
                  ELSE 'Y'
             END,                   --与昨天相比，余额是否改变
             A2.Balance               --昨日余额
        FROM CUR_CONTRACT A1
        LEFT JOIN YES_CONTRACT A2
        ON A1.AGMT_NO = A2.AGMT_NO
        AND A1.AGMT_HOLDER = A2.AGMT_HOLDER
       WHERE EXISTS (SELECT 1
              FROM YES_CONTRACT B1
             WHERE A1.AGMT_NO = B1.AGMT_NO
               AND A1.AGMT_HOLDER = B1.AGMT_HOLDER);

    --3、当前表不存在的数据在AP表中将状态置为2（对于昨日余额问题，不用在此作处理）  
   V_ERR_SQL:='5';
    UPDATE AP_CONTRACT A1
       SET A1.DATA_STATUS = '2', A1.UP_DATE = TO_CHAR(SYSDATE, 'YYYYMMDD')
     WHERE NOT EXISTS (SELECT 1
              FROM CUR_CONTRACT B2
             WHERE A1.AGMT_NO = B2.AGMT_NO
               AND A1.AGMT_HOLDER = B2.AGMT_HOLDER);

  --正常处理
  V_RECORD_NUMBER := SQL%ROWCOUNT;
  SELECT SYSDATE INTO V_END_TIMESTAMP FROM DUAL;
  INSERT INTO APS_ETL_LOG_DETAIL(START_TIMESTAMP,END_TIMESTAMP,PROC_NAME,ETL_RECORD_NUM,ETL_MEMO,P_ETLDATE)
  VALUES (V_START_TIMESTAMP,V_END_TIMESTAMP,V_PROC_NAME,V_RECORD_NUMBER,'成功',P_ETLDATE);
  COMMIT;

  --异常处理
  EXCEPTION WHEN OTHERS THEN
  BEGIN
         ROLLBACK;
         V_SQLERRM := SQLERRM;
         INSERT INTO APS_ETL_LOG_DETAIL(START_TIMESTAMP,END_TIMESTAMP,PROC_NAME,ETL_RECORD_NUM,ETL_MEMO,ERR_MSG,ERR_SQL,P_ETLDATE)
         VALUES (V_START_TIMESTAMP,V_END_TIMESTAMP,V_PROC_NAME,0,'失败',V_SQLERRM,V_ERR_SQL,P_ETLDATE);
         O_RUNSTATUS := 1;
         O_MSG := 'PROGRAMMING ERROR HAPPENED';
         COMMIT;
  END;
END;
/
说明：此算法记录了全部数据新增、更新、删除的状态，并有相应其他操作；算法主要用到两个临时表cur_、yes_来实现；比之原先数据仓库常用的增量更新算法，记的更细；两种算法，各有优缺点。
iteye_4537
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ETL同步新增记录（增量）流程.pdf
01-26
通过一周的自测，符合项目需求，文档中写出了关键点，大家可以参考
仓库数据增量更新加载算法(支持混乱日期跑批)
nsj820的专栏
12-17 3375
<br />1、  建库及测试数据插入脚本<br /> --建增量更新目标表 -- Create table create table EDW_T100_BAL_IU ( ID VARCHAR2(8) not null, BAL NUMBER(22,2), UPDATE_DT VARCHAR2(8) ); -- Add comments to the table comment on table EDW_T100_BAL_IU is '余额（增量更新
【好文分享】用增量更新算法为 web 应用节省流量
C860_zy的专栏
02-15 1886
今天看到这篇文章只能连声赞好，只能说我们广大程序员为了用户真的是无所不用其极啊！学习是用无止境的！！！ 本文主要讲解如何利用 HTML5 的 localstorage 和增量更新算法实现 JavaScript 的本地化，并在版本更新的时候基本做到修改多少内容就下载多少内容，为网站和用户节省 90%以上的 JavaScript 流量，尤其适合快速迭代开发的手机网站使用。 前言
ETL后台存储过程总调度一例
BabyFish13
03-28 1372
1、调度日志表 createtableEDW_CTL_LOG ( PROC_NAMEVARCHAR2(32), CTL_TIMEVARCHAR2(19), CTL_DEMOVARCHAR2(36) ) 2、调度总程序 CREATEORREPLACEPROCEDUREBATCH_DW_CTL_ALL(P_ETLDATEINVARCHAR2--日期参数 )AS --ProcedureName:BATCH_DW_CTL_ALL --Author:N...
8种ETL算法汇总大全！
形而上者谓之道 形而下者谓之器
08-20 863
8种ETL算法汇总大全！ 摘要：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 1 ETL算法概览 > 算法应用场景概览 以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往
Kettle 合并记录和Merge Join组件实现数据增量迁移（数据同步比插入更新快
08-12
在本文中，我们将深入探讨“合并记录”和“Merge Join”这两个组件在实现数据增量迁移中的作用，以及为什么它们在数据同步时比传统的插入更新更快。 首先，我们来理解什么是数据增量迁移。在数据仓库或数据库系统中...
增量更新文章配套资源包
07-09
- ETL（Extract, Transform, Load）：数据仓库中的过程，增量ETL是只抽取和加载变化的数据。 5. 挑战与解决方案 - 数据一致性：确保所有副本都正确反映了最新的状态，可能需要两阶段提交等协议。 - 容错性：处理...
四种数据ETL模式 完全刷新 镜像增量 事件增量 镜像比较
02-16
3. **实现复杂：**需要在源数据中包含时间戳或版本号等额外字段，并且需要在ETL过程中实现增量数据的准确识别和加载。 **应用场景示例：** - 企业销售数据分析，需要保留每个订单的状态变化历史。 - 用户行为分析，...
大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf
03-19
MaxCompute是阿里云提供的一个大规模数据处理平台，适用于大数据处理场景。本实践主要涉及以下几个关键知识点： 1. **数据源与数据架构**： - 数据源包括HDFS（Hadoop分布式文件系统）、HBase（分布式列式数据库）...
Oracle_10g数据仓库实践 （最全面）.pdf
07-01
- **增量加载**：只加载自上次加载以来新增或修改的数据。 ### 四、Oracle 10g 数据仓库应用实例 #### 4.1 数据仓库的应用案例 - **销售分析**：分析销售趋势、客户购买行为等。 - **市场预测**：基于历史数据...
kettle 增量更新并标识删除的记录
10-11
ETL之kettle 增量更新并标识删除的记录 不删除原始数据
ETL中增量更新ETL中增量更新
05-19
ETL中增量更新ETL中增量更新ETL中增量更新ETL中增量更新ETL中增量更新ETL中增量更新ETL中增量更新ETL中增量更新
记一次ETL全量表和增量表等专业术语的解释
Jecky的博客
07-30 1171
全量表，增量表，宽表，拉链表 链接: 转载其它博客 链接: 拉链表详解
开源ETL工具kettle系列之增量更新设计
苦逼的程序猿☺
08-08 8878
前言ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。应用场景增量更新按照数据种类的不同大概可以分成： 1. 只增加，不更新， 2. 只更新，不增加
数据爬取之后，做ETL增量更新数据到原始表
小张的博客
06-23 475
接上面的文章，继续做大数据平台。在前些天将所有的数据都爬完了，也都导入的爬虫数据库（我们自己建了三个库，爬虫库、原始库、正式库）。今天演示从爬虫库到原始库的步骤。 思路： 首先要在原始库中创建时间戳表，用于保存更新数据后的时间。其次获取原始表中最后一次更新操作的时间，作为时间配置。然后对垃圾数据进行删除（此处的垃圾数据指的是任务中途停止，时间未更新，但原始数据库里存在新插入的部分新数据）。其次增量更新原始数据库，里面还包括数据进入原始库的时间。最后更新时间戳。 打开spoon做增量更新任务 spo
实时同步，增量ETL方案分享（源表含时间戳，做逻辑删除）
热门推荐
你不是一个人在战斗～～
03-17 1万+
数据源、中间库、目的库均为MySql，ETL工具为kettle(General Availability Release-Version 6.0.1.0-386) 1.源表有一个updated_time时间戳字段，java代码中每更新一条数据，就会用当前时间更新该时间戳。源表只做逻辑删除，即数据的status字段值置为0。 2.我的方案如下： 2.1暂定源表到目的表不做任
insert时调用本身字段_「技术篇」ETL工具Kettle数据对比同步以及Java程序中调用
weixin_39806388的博客
11-30 204
作为一个技术栈出身的攻城狮，虽然走上管理之路，但是技术是不能扔下的，时不时的拿起来重温一下，理论与实践相结合...使用背景：住建部某区块链共享平台(下游系统)需要自于上游系统的生产库数据，数据量不大十几万，而且须要每天提供截止当天的增量数据，要求每条数据给出数据变化时间及标示，即数据若是插入有插入时间和插入标示；若是改动，有改动时间和改动标示；若是删除需逻辑删除、有删除标示且有删除时间等等。解决办...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值