Datastage run 有时候太慢有时候performance 还Okay

最新推荐文章于 2022-03-15 21:06:31 发布

dgsdaga3026010

最新推荐文章于 2022-03-15 21:06:31 发布

阅读量164

点赞数

原文链接：http://www.cnblogs.com/TendToBigData/p/10501498.html

版权

US team 同事开发了一个prod_dimnsn 的job ，job 之大让人很是无语，一个job 里面大概用到了不下 50 个stage ，虽然只有简单的60W 数据，但是真个job 里面用了太多来的 lookup change capture ，增加了内存的开销，通过admin 的反馈我们看到最高memory 用了 98% ，所有这个job 有时候run 4 个多小时，最快 20 分钟就应该结束的。当然系统上还有其他jobs 也在run

为了减少run 的时间，我们采用split job to small pieces 。

转载于:https://www.cnblogs.com/TendToBigData/p/10501498.html