中间表同步方案(全量，增量)

最近做一个大数据量统计分析系统，以前已经做了一个大的描述
http://www.cnblogs.com/edobnet/archive/2005/04/24/144521.html
http://edobnet.cnblogs.com/archive/2005/11/11/273947.html

为了提高性能，对于中间表，的同步，采用初台全量同步，每天，增量同步的方案。
我介绍一下我们增量方案吧！
要增量，增量日志表是必需的，增量日志表的设计。

KEY（原业务表关键字），CREATE_DATE(变更时间)，FLAG（数据修改与删除标志），USE_FLAG（增量表是否被使用的记录，（一个存储过滤使用一位））

每天增量同步时，做如下操作

-- 如果增量日志表，所有标志位都已经使用，把增量日志表移到增量日志备份表里
INSERT  LOG_MANUAL_INC_BAK 
SELECT   *
FROM  LOG_MANUAL_INC 
WHERE   LEFT (USING_FLAG, 4 ) = ' 1111 '

DELETE  LOG_MANUAL_INC  WHERE   LEFT (USING_FLAG, 4 ) = ' 1111 '

-- 建临时中间表，方便同步(字段内容与真实表一样)
CREATE   TABLE  #TG_ENTRY (
     [ TE_ENTRY_ID ]   [ char ]  ( 18 )    NOT   NULL  
..
    ) 
GO

-- -------------------将未整合记录从中间表中删除
-- SUBSTRING(USING_FLAG,2,1)为这次整合使用的标记位
  DELETE   FROM  TG_ENTRY  WHERE  TG_ENTRY_ID  IN  ( SELECT  TG_ENTRY_ID  FROM  LOG_MANUAL_INC  WHERE   SUBSTRING (USING_FLAG, 2 , 1 ) <> 1 )

。。下面就可以做同步数据了，
。。。同步数据是从原业务表里取，不过，数据范围限定在，增量表里的没有做增量操作(并且操作类型为新加与修改的)的数据

也就同步多加一个WHERE条件，
WHERE LOG_MANUAL_INC.ARJ_MARK='M' and SUBSTRING(USING_FLAG,2,1)<>1
取好的数据是放在新建的临时中间表，#TG_ENTRY

做好了同步操作，不要忘了更新增量表的标志。