kettle优化抽取数据速度_kettle 数据提取效率提升

本文链接：https://blog.csdn.net/xpliruizhi123/article/details/54580850

最近发现KETTLE抽数越来越慢，特别是增量INSERT/UPDATE的时候，速度已经达到了令人发指的地步(从一个400W数据规模的表中每天增量量抽取30W数据的TRASFORMATION 竟然要20个小时！！！！读取速率是5条/s......)，这个情况是在我的KETTLE工具从3.2升级到7.0版本后发现的，(以前也慢，只是还能接受，升级之后已经到了不改不行的地步了)，但是KETTLE是进步的，所以原因还是要从自身找起。

目前为止我发现的导致KETTLE抽取数据慢有以下几个原因：

A：SPOON 启动时候内存较小，在spoon.bat这个启动文件中，配置的有JVM的内存XMX,("%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-           Xms8192m" "-Xmx8192m" "-XX:MaxPermSize=4096m"),默认这个是256M，512M  256M， 其中Xms是指JVM初始分配的堆栈的内存，Xmx是指JVM分配的堆栈的内存 (JAVA代码能涉及到的存储数据变量的内存)最大是多少，所以XMS必须要<= XMX,XX:MaxPermSize,是指JVM给自己分配的非堆栈内存(供虚拟机程序自己开销)我的因 为是在服务器上跑，因此改成了8192M\8192M\4096M,这个改不能是无限的加大，需要考虑总的内存大小，一般来说网上参考是最大堆栈内存不超过总内存