kettle 提交数据量_kettle大数据量读写mysql性能优化

修改kettleDB连接设置

1. 增加批量写的速度：

useServerPrepStmts=false

rewriteBatchedStatements=true

useCompression=true

2. 增加读的速度：

useServerPrepStmts=true

cachePrepStmts=true

参数说明：

1)useCompression=true，压缩数据传输，优化客户端和MySQL服务器之间的通信性能。

2)rewriteBatchedStatements=true  ，开启批量写功能

将会使大批量单条插入语句：

INSERT INTO t (c1,c2) VALUES ('One',1);

INSERT INTO t (c1,c2) VALUES ('Two',2);

INSERT INTO t (c1,c2) VALUES ('Three',3);

改写成真正的批量插入语句：

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

3)useServerPrepStmts=false  关闭服务器端编译，sql语句在客户端编译好再发送给服务器端，发送语句如上。

如果为true,sql会采用占位符方式发送到服务器端，在服务器端再组装sql语句。

占位符方式：