之前一直用python连数据库回刷历史数据,用了kettle之后就很香,拖拽几步就能实现,性能还高的一批,安利安利!
kettle的数据分发和复制
需求:回刷表中2021年全年数据
连接组件出现支路的时候跳出这个提醒,我直接按了分发,结果查看数据库中日期只有奇数日,出现错行跳行的情况,多次重跑还是 存在数据缺失,排查了半天才知道是分发的问题。
分发
数据一分为二,分给两条支路
复制
数据复制两份
重新连接,问题搞定!!
kettle发送邮件
问题:kettle定时发送邮件,数据以附件的形式保存,数值较长的字段在excel中会显示科学计数法。
这个问题百度了一下,不是kettle本身的问题,使用的CSV格式,Excel超过15位的数字默认就会转换为科学计数法。
解决办法:
Sql提取该字段的时候进行处理,拼接单引号。需要注意的是:单引号需要用双引号括起来,例如"’"||a