kettle对排序记录节点集群时,关于数据不准问题



     这两天试验“Kettle 集群(cluster)在多个服务器(windows、linux)上并发执行”这篇文章提及的kettle集群,链接地址:http://blog.csdn.net/lixuemei504/article/details/38271145 ,文中用kettle中的排序记录作为实例进行集群讲解,经过实际操作发现,每次排序的结果都不一样。当时产生了困惑,还以为kettle不适于对排序记录进行集群。

后来找了一篇老外写的文章,如下

http://type-exit.org/adventures-with-open-source-bi/2011/10/clustering-in-kettle/

写的很清楚,只要在排序记录后面加一个排序合并就可以了。经测试,对于效率的影响甚微。如下图:排序记录。


需要注意的是排序合并里的排序字段要和排序记录里的一样,升降序也要一样。

阅读更多
上一篇java调用kettle向job(任务)和transformation(转换)传递参数实例
下一篇oracle数据恢复:利用ctl,dbf,log
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭