kettle spoon判断增量更新_「实战」使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中...

每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。

放弃不难，但坚持很酷~

最近有一个将 mysql 数据导入到 MongoDB 中的需求，打算使用 Kettle 工具实现。本文章记录了数据导入从 0 到 1 的过程，最终实现了每秒钟快速导入约 1200 条数据。一起来看吧~

一、Kettle 连接图

简单说下该转换流程，增量导入数据：

1)根据 source 和 db 字段来获取 MongoDB 集合内 business_time 最大值。

2)设置 mysql 语句

3)对查询的字段进行改名

4)过滤数据：只往 MongoDB 里面导入 person_id，address，business_time 字段均不为空的数据。

• 符合过滤条件的数据，增加常量，并将其导入到 mongoDB 中。

• 不符合过滤条件的数据，增加常量，将其导入到 Excel 表中记录。

二、流程组件解析

1、MongoDB input

1)Configure