kettle输入输出速度很慢怎么办

现象描述

 

kettle在连接数据库进行表输入输出时，速度很慢，具体如下图所示

 修改配置参数提高了近100倍，速度快到起飞

 

参数配置

1、在输入表的数据库中添加如下参数配置：

1.增加读的操作
useServerPrepStmts：true
cachePrepStmts：true
2.读取缓存，设置过高消耗内存也会高
defaultFetchSize：10000
useCursorFetch：true

3. 压缩数据传入，与mysql服务端进行通信时采用压缩
useCompression:true

 

2、在输出表的数据库连接中添加如下参数配置

defaultFetchSize:5000
1.提高写的操作
rewriteBatchedStatements:true
useServerPrepStmts:false
useCursorFetch:true
2.设置与mysql服务器通讯时压缩数据传入
useCompression:true

 希望可以帮到你哦