提高Kettle的MySQL写入速度

本文mysql数据库安装在树莓派上

1 适当加大defaultFetchSize能提高ETL速度,大概10%

2 修改参数useCompression=true树莓派插入性能暴涨10倍

下文是转载内容

使用Kettle的初期,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,其实这里面隐含一些性能问题,如果不熟悉这些性能参数,要想提高性能还真的不容易。

参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html
参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通过在要插入mysql的数据库连接参数中配置以下参数,就可以大量提高mysql数据批量插入的速度:

1、这是因为在数据库连接参数中配置了以下两个MySQL特定选项:

useServerPrepStmts = false
rewriteBatchedStatements = true

将会使大批量单条插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1);
INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改写成真正的批量插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通过设置MySQL如下连接参数:
useCompression=true
树莓派插入性能暴涨10倍

可以实现压缩传输,优化客户端和MySQL服务器之间的通信性能。

    [Python,SQL,ETL]交流群 164142295


评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值