将根据时间戳增量数据方案修改为根据批次号增量数据方案

最新推荐文章于 2022-03-31 20:28:44 发布

小段大帅

最新推荐文章于 2022-03-31 20:28:44 发布

阅读量234

点赞数

本文链接：https://blog.csdn.net/u011652364/article/details/89347663

版权

本文探讨了将基于时间戳的增量数据方案转变为基于批次号的方案，以解决时间戳增量可能导致的数据不准确问题。通过使用Kettle工具，介绍了多种根据时间戳和批次号进行数据批量导入的策略，分析了各自的优缺点和设计考虑，但内容未完全展开。

摘要由CSDN通过智能技术生成

将根据时间戳增量数据方案修改为根据批次号增量数据方案

1、之前写过根据时间戳来增量数据，时间戳增量数据存在一定的缺点，就是如果开启自动的话，以后如果因为某个外在因素出错了，那么这个开始时间和结束时间不好控制，那么就可能造成一些其他数据量不准的情况，但是根据批次号不会出现这个问题：

使用kettle来根据时间戳或者批次号来批量导入数据，达到增量的效果。

方案一、
1、第一步、获取目标数据库数据表名称最大批次号;
select '数据表名称' as table_name, 1 as part,'数据来源' as source,IFNULL(max(Cd_batch), CONCAT(DATE_FORMAT(now(),'%Y%m%d'),'00001')) as next_batch from 数据对账数据表名称 where UPPER(TableName)='数据表名称'
2、第二步、获取系统数据库数据表开始批次号;
注意:记得勾选替换SQL语句里的变量。然后从步骤插入数据进行选中，上一步的名称。
select ? as table_name, ? as part,? as source,start_batch, ? as next_batch from 系统对