merge 语句实现数据的差异传输

最近数据库升级到2008,研究了一下,发现有一个很好用的新功能,merge 语句加上存储过程,可以实现数据的差异传输,源表的增删改,都可以使用 merge 语句,把数据更改应用到目标表上,我们原来一个2亿多条记录的表,完全传输一次需要3个多小时,使用这个方法进行数据传输,首次花的时间和原来差不多,但是在以后的定时作业里面,看到传输时间只有不到 10分钟了,经大量数据抽样检查,数据是完全相同的,通过优化,以及增加作业的频率,可以实现数据更短的时间差,这对于表比较大,而且需要进行不定期同步的情况来说,节省了不少时间,当然,数据库镜像 和 数据发布订阅也能解决这个问题,但是对应用比较简单,数据同步实时性要求不高,数据量巨大的情况,这个方法部署起来还是相对简单一些的,呵呵

这个方法非常实用,但是还存在一些局限性,要根据每个表的不同,需要单独建立存储过程,这点比较繁复,有没有更好的方法,能使用在所有的表上呢??

 

先把单独一个表的情况,发出来让大家分享一下,欢迎各位大侠提出更好的解决办法,能够实现多表通用


1:先在目标服务器上建立一个到源服务器的链接服务器,名字 xx2008(比较简单,不详细说了)

2:在表里面,增加一个字段 updatetime,记录数据更新时间,同时表里面要有 id 自动增加字段

3:以原库名 c_001 , t_001 表为例,以在目标服务器上建立存储过程(以下是例程,要提高效率的话,还可以优化过程)

4:建立作业,定时调用存储过程

 

Create PROCEDURE [dbo].[backup_001]

AS
BEGIN

   
SET NOCOUNT ON;    SET IDENTITY_Insert t_001 ON
    merge t_001 d
    using
    (
SELECT * FROM OPENQUERY (xx2008 ,'select * from c_001.dbo.t_001' )  ) s
   
on (d.id=s.id and d.updatetime<>s.updatetime)
   
WHEN NOT MATCHED BY SOURCE THEN    delete
   
when matched then
       
update set
        d.f1
=s.f1,
        d.f2
=s.f2,
        d.f3
=s.f3,
        ......
        d.updatetime
=s.updatetime
   
when not matched then
       
insert (d.f1,d.f2,d.f3,......d.updatetime)
       
values (s.f1,s.f2,s.f3,......s.updatetime);
   
SET IDENTITY_Insert t_001 OFF
   

   

END

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在MySQL中,可以使用`MERGE`语句实现合并(或称为合并更新)操作。然而,需要注意的是,MySQL并没有原生支持`MERGE`语句,但可以通过其他方式来实现相似的功能。 一种常见的方法是使用`INSERT INTO ... ON DUPLICATE KEY UPDATE`语句,它可以在插入数据时检测到重复键,并执行更新操作。下面是一个示例: ```sql INSERT INTO your_table (id, col1, col2) VALUES (1, 'value1', 'value2') ON DUPLICATE KEY UPDATE col1 = 'updated_value1', col2 = 'updated_value2'; ``` 上面的示例中,`your_table`是目标表的名称,`(id, col1, col2)`是要插入的列名,`(1, 'value1', 'value2')`是要插入的值。如果表中已经存在主键或唯一键为1的记录,则会执行更新操作,将`col1`和`col2`字段更新为指定的值。 另一种方法是使用`INSERT INTO ... SELECT ... ON DUPLICATE KEY UPDATE`语句,它可以通过查询结果来执行插入和更新操作。下面是一个示例: ```sql INSERT INTO your_table (id, col1, col2) SELECT 1, 'value1', 'value2' FROM dual ON DUPLICATE KEY UPDATE col1 = 'updated_value1', col2 = 'updated_value2'; ``` 上面的示例中,`(id, col1, col2)`是目标表的列名,`SELECT 1, 'value1', 'value2' FROM dual`是查询语句,`dual`是MySQL的一个虚拟表,用于生成一个临时的结果集。同样,如果表中已经存在主键或唯一键为1的记录,则会执行更新操作。 需要注意的是,上述方法都需要确保目标表具有适当的主键或唯一键,以便在插入时进行重复键检测。此外,这些方法也可以根据具体的需求进行调整和扩展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值