Kettle分页抽取全量数据 , 适用于大数据量初次全量抽取转换.
后续可再增加作业和转换,根据动态时间范围增量抽取转换...这篇先说全量的.
完整流程作业图如下: (后续会拆解梳理每步流程)
-
主要步骤如下: 有3步
第一步: 把需要用到的源数据DB和目标数据DB连接准备好,没啥好说的;如下图
第二步: 创建(获取源数据页数)转换: 主要获取源数据表中按5000条分页的
完整流程作业图如下: (后续会拆解梳理每步流程)
第一步: 把需要用到的源数据DB和目标数据DB连接准备好,没啥好说的;如下图
第二步: 创建(获取源数据页数)转换: 主要获取源数据表中按5000条分页的