kettle提高mysql的写入速度（转载）

原文转自：https://blog.csdn.net/smooth00/article/details/69389424

使用Kettle的初期，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，其实这里面隐含一些性能问题，如果不熟悉这些性能参数，要想提高性能还真的不容易。

参考1：http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

参考2：http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通过在要插入mysql的数据库连接参数中配置以下参数，就可以大量提高mysql数据批量插入的速度：

1、这是因为在数据库连接参数中配置了以下两个MySQL特定选项：

useServerPrepStmts = false
rewriteBatchedStatements = true

将会使大批量单条插入语句：

INSERT INTO t (c1,c2) VALUES ('One',1);
INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改写成真正的批量插入语句：

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通过设置MySQL如下连接参数：

useCompression=true

可以实现压缩传输，优化客户端和MySQL服务器之间的通信性能。