kettle数据采集三大流程-对账采集

kettle数据采集之对账流程配置

1、对账流程主入口

2、设置变量

3、进行循环对账

4、获取变量并执行各张表对账流程

5、核心对账流程

重点需要说明注意的：

        0、合并记录：平台要保证与医院的数据一致呀，新数据源一定是医院端的。

        1、比原来多了个插入更新，目的是为了解决数据同步报错后，继续执行更新操作，保证目标库数据与源库数据一致，不会终止项目运行。

        2、设置了并发数为2，建议设置并发后，将提交数量改为1，降低因并发导致锁表风险，提高插入效率。

        3、获取字段的时候，最好元数据这块加在字段类型，与目标库类型必须保持一致，目标表直接复制源表的即可，因为必须保持两边顺序、数据类型一致，这样可以提高数据采集效率。

  注意:如果目标库对应表的主键类型是NUMBER数值类型，SQL语句中必须使用TO_NUMBER()函数转换一下。

        4、主键值下面要选择N，表示不需要更新，避免主键包含索引，提高更新速度。

        5、目标表为多家医院时，一定注意加上机构限制，保证源表目标表拿出的数据来源是一致的，一定务必注意！！！,否则会删除目标表其它家医院的数据。

        6、增加了执行SQL脚本，记录执行错误的日志，便于后期查询及避免单条数据错误，导致对账流程终止。