Kettle处理300万条数据-问题整理

Kettle处理300万条数据。

初始配置都没有更改，运行，一直报timeout。问题定位：表输入，读取来源数据数据量太大报错。
进行以下过程进行优化：
1.调整java内存占用为最大
2.调整表输出线程，将线程数调整为8
3.修改表输入（mysql）的连接参数。原始参数全部为空，增加参数优化表输入

优化后，重新运行，数据处理完成。

转载于:https://juejin.im/post/5cd3c169f265da035e213f6a