kettle优化解决办法

kettle优化解决办法

   说下背景，在公司有9张表，每个表大约25万的数据量的excel表要定时更新到数据库表中，我做了定时任务，但是发现9张表在kettle要跑1个小时，忍受了2个月，实在顶不住这么慢的插入速度 。
   现在网上有很多优化的办法，我觉得最重要的是使用kettle的连接池，连接池的解释如下
   ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1b51fa4ce879449490cc1c293ee24603.png)

在kettle,打开数据库编辑，连接池，设置8，-1

方法二:在数据库连接，选项那设置
rewriteBatchedStatements 为true。
defaultRowPrefetch为200。
defaultFetchSize为500
useCursorFetch为true
useCompression为 true
useServerPrepStmts为false。

这两个操作下来，速度起码提示10倍，

同样的内容，改完之后，1个半以上的跑数时间变成只有7分钟。