KETTLE MongoDB到MySQL比对同步，带参数、存储过程

KETTLE MongoDB到MySQL比对同步，带参数、存储过程

需求：将MongoDB里的form表同步到MySQL指定库，insert form表里的新数据（其中_id唯一，可当主键），delete form表里超过7天的数据，update不需要处理
实现逻辑：鉴于来自MongoDB和MySQL两种数据库，以及随着日益增长数据kettle弱性能暴露的情况下，采取按条件查询MongoDB数据并落地到MySQL，在MySQL里使用存储过程比对完成增删操作，kettle仅用于数据同步（一个作业，一个获取变量任务，一个设置变量任务，一个同步任务）。

着重说明kettle同步
由于参数设置用到了“设置变量”步骤，在当前转换中不能马上使用，需要在作业中的下一步骤中使用，因此作业 job_proc.kjb 如下

注意“执行每一个输入行”勾选

获取变量任务 get.ktr

通常情况下，获取变量也可以用“获取变量”获取系统值，但是MongoDB Input控件查询时间时录入datetime类型始终获取不到值，无法查询相应结果，这里改成表输入，变量设置为string。
设置变量任务 setvariables.ktr

同步任务 form_proc.ktr



${JSONSTR}用“设置变量”中的变量名，此处用的string，datetime类型在MongoDB Input无法查询，表输入控件可以

存储过程语句

CREATE DEFINER=`root`@`%` PROCEDURE `compare_formid`()
BEGIN

	-- 写入你的增删逻辑
	-- 省略
	
	SELECT NOW();
END

至此从MongoDB到MySQL每次同步控制在1-3分钟，成功率和速度都得以解决。