现象描述
kettle在连接数据库进行表输入输出时,速度很慢,具体如下图所示
修改配置参数提高了近100倍,速度快到起飞
参数配置
1、在输入表的数据库中添加如下参数配置:
1.增加读的操作
useServerPrepStmts:true
cachePrepStmts:true
2.读取缓存,设置过高消耗内存也会高
defaultFetchSize:10000
useCursorFetch:true
3. 压缩数据传入,与mysql服务端进行通信时采用压缩
useCompression:true
2、在输出表的数据库连接中添加如下参数配置
defaultFetchSize:5000
1.提高写的操作
rewriteBatchedStatements:true
useServerPrepStmts:false
useCursorFetch:true
2.设置与mysql服务器通讯时压缩数据传入
useCompression:true
希望可以帮到你哦