KETTLE作业运行中自动崩溃死掉的解决办法

用KETTLE作为接口工具在生产实践中很常见，不知道大家有没有遇过KETTLE作业运行中无法预知地崩溃死掉的情况。我自己曾经多次遇到过。下面简单分享下我对出现这种情况的原因分析以及解决办法。

原因1：作业运行中遇到了某条有问题的数据导致转换崩溃。
办法：加日志找到有问题的数据，使数据满足转换流程要求或修改转换使之兼容有问题的数据。

原因2：给jvm分配的内存不够大，当作业要处理的数据量太大时，发生内存溢出OutOfMemmory并崩溃。
办法：修改spoon.bat文件中指定的JVM初始内存和最大允许内存，可以按如下值去改

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-XX:-UseGCOverheadLimit" "-Xms1024m" "-Xmx4096m" "-XX:MaxPermSize=4096m"

原因3：KETTLE本身固有的不健壮性导致作业莫名停止运行
办法：杜绝在KETTLE程序前台作为生产方式长期运行KETTLE作业！可以使用部署carte服务，在carte服务上长期运行开发好的KETTLE作业的方式。同时创建一个监控作业是否在运行的任务计划，该任务计划以每分钟一次的频率检查作业是否在运行，如果未在运行，就自动向carte服务发送该作业，使作业重新运行起来。
这个执行监控任务的任务计划只需定时运行一个内容如下的bat脚本即可：

curl http://cluster:cluster@localhost:9000/kettle/jobStatus/?name=YourKettleJobName | findstr "Stop this job"
if %errorlevel% equ 1 curl -u "cluster:cluster" "http://cluster:cluster@localhost:9000/kettle/executeJob/?job=D:/YourKettleJobName.kjb&level=Nothing"