码工考古之DataSync

最新推荐文章于 2025-04-02 11:25:09 发布

iteye_363

最新推荐文章于 2025-04-02 11:25:09 发布

阅读量190

点赞数

分类专栏： Oo/Java 文章标签： SQL DB2 数据结构 SQL Server JDBC

本文链接：https://blog.csdn.net/iteye_363/article/details/81886065

版权

Oo/Java 专栏收录该内容

27 篇文章

订阅专栏

码工考古之DataSync

作者：臭豆腐[trydofor.com]

日期：2010-06-15

授权：署名-非商业-保持一致 1.0 协议

声明：拷贝、分发、呈现和表演本作品，请保留以上全部信息。

文档目录

1. DataSync是啥玩意

2. 蛇打七寸擒贼擒王

3. 行而知之知而又行

3.1. XML到类和类关系

3.2. 数据的依赖关系

3.3. 变量作用及性质

3.4. 字符串分析处理

4. 走两步拉出来溜溜

1. DataSync是啥玩意

DataSync 是一个小布丁点的工程，用来在两个数据库间倒扯数据。

纯JDBC，以PreparedStatement插数据，以SQL记log。
纯SQL同步，支持变量。
自动解决表间依赖关系。
可自定义字段生成规则。
不支持目标数据库的Update，只能Insert。
不能一次倒扯海量数据。
java文件27个。
代码1827行，注释196行，空行358，共计2362行。
累积人力约1*8人时。

原始需求是这样的：

我们的高利贷系统，有近20*5个测试DB，经常要在两个DB间倒扯数据玩。

但不幸的是DB的主键有自增的，有业务逻辑产生的；表关系复杂；表多。

2. 蛇打七寸擒贼擒王

初步的需求分析和程序设计，集中在配置文件的定义上。

工具是文本编辑器，两张打印纸加签字笔。电脑方便撤销与修改，笔纸则便于涂鸦。

写了改，改了写的过程贯穿项目始终，美其名曰：持续重构 O(∩_∩)O。

测试数据的ER图：

一个自然人（PERSON，自增主键）对应一个顾客（CUSTOMER，业务主键），

一个顾客对应多个债权（LOAN，业务主键），

一个债权对应多个契约（CONTRACT，双主键，MAX+1）。

各表有特殊用途的字段，如：LOGNO，CREATEDBY，CREATEDDT。

程序配置文件：

<xml> 配置文件

<?xml version="1.0" encoding="UTF-8"?>
<root>
 <!-- 数据库配置 -->
 <database>
   <!-- 源数据库 -->
   <source>
     <driver>com.ibm.db2.jcc.DB2Driver</driver>
     <url>jdbc:db2://10.4.9.52:50000/SEC0601</url>
     <user>db2inst1</user>
     <pass>LNjT4DRw</pass>
   </source>
   <!-- 目标数据库 -->
   <target>
     <driver>com.ibm.db2.jcc.DB2Driver</driver>
     <url>jdbc:db2://10.4.5.242:50000/PLX</url>
     <user>db2inst1</user>
     <pass>s1Iup3Dz</pass>
   </target>
 </database>
 <!-- 全局变量 以 ${name}格式调用 -->
 <parameters>
   <!--
       | type=text时，以字符串保持value值或value指向文件的全部内容。
       | type=list时，以字符串列表保持value值或value指向文件的每一行。
   -->
   <para name="system.commit.debug" type="text" value="true"/>
   <para name="system.target.delete" type="text" value="false"/>
   <para name="system.target.existed" type="text" value="delete"/>
   <para name="system.source.delete" type="text" value="false"/>
   <!-- ./data/loanid.txt 文件一行一个债权，存到 loanids的List中 -->
   <para name="loanids" type="list" value="./data/loanid.txt"/>
   <para name="logno" type="text" value="9999"/>
 </parameters>
 <!-- 操作对象（表） -->
 <candidate>
   <!-- 表的共通字段 -->
   <common>
     <!-- 使用变量 logno -->
     <column name="LOGNO"         value="${logno}" />
     <!-- 使用固定值 9999 -->
     <column name="CREATEDBY" value="9999" />
     <!-- 
         | 可以是固定值 2010-05-05 05:05:05 也可是DB变量 CURRENT TIMESTAMP
         | mutable 为true，该字段可变，不能作为where条件。默认为false。
     -->
     <column name="CREATEDDT" mutable="true" value="CURRENT TIMESTAMP" />
   </common>
   <tables> <!-- 表的集合 -->
     <table name="LOAN"> <!-- 表名 LOAN -->
       <!-- 该表在源数据库上抽取数据的SQL，使用全局变量 loanids -->
       <source>SELECT * FROM LOAN WHERE
               LOANID IN (${loanids})
       </source>
     </table>
     <table name="CUSTOMER">
       <!-- 以源数据中LOAN表的CUSTID集合作为参数 -->
       <source>SELECT * FROM CUSTOMER WHERE 
               CUSTID IN (${LOAN:CUSTID})
       </source>
       <target>
         <!--
             | 在目标数据库中，该表的指定字段如何设值
             | 这里按源数据对应关系，设置成目标数据库中PERSON表的PERSONID值。
         -->
         <column name="PERSONID"  value="${PERSON:PERSONID}" />
       </target>
     </table>
     <table name="PERSON">
       <source>SELECT * FROM PERSON WHERE 
               PERSONID IN (${CUSTOMER:PERSONID})
       </source>
     </table>
     <table name="CONTRACT">
       <source>SELECT * FROM CONTRACT WHERE 
               LOANID IN (${LOAN:LOANID})
       </source>
       <target>
         <!-- 在目标数据库中执行SQL，以返回值设置字段值 -->
         <column name="CONTRACTSEQ"   clazz="SqlQuery" 
             value="SELECT CASE WHEN  MAX(CONTRACTSEQ) IS NULL THEN 1 
                    ELSE MAX(CONTRACTSEQ)+1 END FROM CONTRACT
                    WHERE LOANID=${CONTRACT:LOANID}"
         />
       </target>
     </table>
   </tables>
 </candidate>
</root>