kettle加载到mysql插入更新优化方案之mysql批量加载

:MySQL Bulk Loader组件必须在Linux下运行,因为MySQL批量加载时会创建一个命名管道,在Windows下是不支持的。加载工具用的是fifo
1.MySQL Bulk Loader组件介绍
在这里插入图片描述
wiki文档介绍
https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader
在这里插入图片描述
在这里插入图片描述
这两个勾可限定是否根据主键替换
在这里插入图片描述
2.MySQL Bulk Loader组件实战介绍
有时对大表加工到mysql用表输出效率低,可采用如下的mysql批量加载方式,保证效率:
在这里插入图片描述
mysql批量加载需设置如下参数:否则不能加载
show variables like ‘max_binlog_cache_size’
show variables like ‘max_binlog_size’
show variables like ‘local_infile’
在这里插入图片描述
SET GLOBAL local_infile=1
set @@global.max_binlog_cache_size=18446744073709547520;
set @@global.max_binlog_size=1073741824;
在这里插入图片描述
mysql批量加载有timestamp类型时需加如下参数否则报错
在这里插入图片描述
为timestamp类型需如下选择:
在这里插入图片描述
3.提升kettle读写mysql性能的几个参数
kettle的DB连接的高级选项中添加如下参数:
rewriteBatchedStatements true
useServerPrepStmts false
useCompression true

如内容有错欢迎大家指正!!!
更多ketlle视频资料下载地址:kettle视频资料
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事!

在这里插入图片描述

  • 6
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值