注:MySQL Bulk Loader组件必须在Linux下运行,因为MySQL批量加载时会创建一个命名管道,在Windows下是不支持的。加载工具用的是fifo
1.MySQL Bulk Loader组件介绍
wiki文档介绍
https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader
这两个勾可限定是否根据主键替换
2.MySQL Bulk Loader组件实战介绍
有时对大表加工到mysql用表输出效率低,可采用如下的mysql批量加载方式,保证效率:
mysql批量加载需设置如下参数:否则不能加载
show variables like ‘max_binlog_cache_size’
show variables like ‘max_binlog_size’
show variables like ‘local_infile’
SET GLOBAL local_infile=1
set @@global.max_binlog_cache_size=18446744073709547520;
set @@global.max_binlog_size=1073741824;
mysql批量加载有timestamp类型时需加如下参数否则报错
为timestamp类型需如下选择:
3.提升kettle读写mysql性能的几个参数
kettle的DB连接的高级选项中添加如下参数:
rewriteBatchedStatements true
useServerPrepStmts false
useCompression true
如内容有错欢迎大家指正!!!
更多ketlle视频资料下载地址:kettle视频资料
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事!