Kettle提高表输出写入速度（每秒万条记录）

已于 2023-05-11 10:18:39 修改
阅读量4.1w 收藏 108
点赞数 22
分类专栏： Kettle 文章标签： kettle 性能 kettle优化 kettle kettle连接参数 kettle提速
于 2018-09-12 17:16:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37124304/article/details/82664665
版权
针对Kettle表输出写入速度慢的问题，通过调整MySQL连接参数（如useServerPrepStmts=false, rewriteBatchedStatements=true, useCompression=true），结合增大线程并发和提高数据集大小，成功将速度提升至每秒3万多条记录，甚至一分钟内可处理二十多万条数据。" 91415598,7865117,全方位尺度特征学习在人员重识别中的应用,"['深度学习', '计算机视觉', '人员重识别', '卷积神经网络', '特征学习']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方：

NO.1

mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置

在此处添加参数：

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

如图：

NO.2

kettle 允许线程多开（此处性能提升有限，可辅助查看性能瓶颈所在）

NO.3

也可以适当的提高数据集的大小

最低0.47元/天 解锁文章
dbmsoutputputline输出多个值_面试官：如何优化kettle工具表输出写入速度？
weixin_39615643的博客
11-29 1079
概述最近用kettle时发现输出到数据表太久，1小时才写了3万条数据，平均每秒速度为8条，基于此，做一下改进。优化1：优化网络连接属性mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置在此处添加参数：useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true characterEncoding=...
kettle 提交数据量_基于kettle工具提高表输出写入速度（每秒万条记录）
weixin_26777941的博客
12-30 3372
概述最近用kettle时发现输出到数据表太久，1小时才写了3万条数据，平均每秒速度为8条，基于此，做一下改进。优化1：优化网络连接属性mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置在此处添加参数：useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true characterEncoding=...
ETL工具KETTLE表输入表输出提速5-10倍
okhymok的博客
11-01 3788
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/LSY_CSDN_/article/details/93587917 1、数据库操作： 因为是大批量数据迁移，主要影响抽取速度的是表输出，因此目标数据库要重新启动下，保证目标数据库性能最好，暂时没有其它进程写入数据。 2、表输入jdbc...
《Kettle保姆级教学-性能调优，抽取速率提升800%》
最新发布
weixin_42924611的博客
02-19 1605
通过优化Kettle的配置、调整转换步骤、优化SQL查询等，可以显著减少数据处理的时间，尤其是在处理大规模数据集时，性能提升的效果更加明显。还可以在现有的硬件资源下处理更多的数据，减少对额外硬件设备的需求，从而降低硬件成本。示例：堆8G（年轻代3G），Xss512k → (8-3)*1024/0.5 ≈ 10240线程。最大线程数 ≈ (Xmx - Xmn) / Xss。可显著提升批量操作和大数据查询效率。提交记录数量从1000提升至5000。
使用kettle快速导出excel
qq_23487505的博客
06-09 3331
[背景] 产品需要按照特定条件跑一批数据，然后导出成excel，进行相关调研，所以只是用dp任务跑了一批数据到测试库，然后按条件查询后导出excel。 数据量大概72w，最初使用navicat导出，发现了两个问题： 1、navicat非全表导出，需要先执行sql查询，然后对结果导出。由于数据量有72w，相当于要先无分页的查询72w数据 2、导出excel非常慢，大概运行了20分钟只导出了10w条 因此决定使用kettle进行excel导出，最终用时35.9s导出完毕。 【正文】 kett.
如何提高Pentaho Kettle的MySQL写入速度
热门推荐
smooth的博客
04-06 1万+
使用Kettle的初期，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，其实这里面隐含一些性能问题，如果不熟悉这些性能参数，要想提高性能还真的不容易。
10倍以上提高Pentaho Kettle的MySQL写入速度
08-07
NULL 博文链接：https://hejianhuacn.iteye.com/blog/2094981
kettle输入输出速度很慢怎么办
LDWBIMER的博客
09-16 1万+
kettle在连接数据库进行表输入输出时，速度很慢，具体如下图所示修改配置参数提高了近100倍，速度快到起飞。
kettle优化抽取数据速度_Kettle中ETL的效率优化
weixin_39554775的博客
12-21 2175
背景Kettle是什么？Kettle是一款开源的ETL工具，目前由Pentaho公司在管理。该工具包含一个可视化界面，可以用来设计、运行、调试ETL，被很多公司广泛采用。ETL是什么？ETL(Extract、Transform、Load)即抽取、转换、加载，是对异构数据源进行数据处理的一个部分。ETL的主要功能数据抽取从源数据源系统抽取目的数据源系统需要的数据;数据转换将从源数据源获取的数据按照业...
Kettle（二）差点放弃
weixin_43329319的博客
08-28 988
Kettle实战100篇(天) ETL工具KETTLE表输入表输出提速5-10倍 Kettle提高表输出写入速度（每秒万条记录）
Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化
m0_67401761的博客
07-29 3413
亿级以上数据量。
026-Kettle表输入表输出提升50倍的秘诀
weixin_33912246的博客
06-12 3825
这是坚持技术写作计划（含翻译）的第26篇，定个小目标999，每周最少2篇。 最近工作需要，需要从Oracle导数据到Mysql，并且需要进行适当的清洗，转换。数据量在5亿条左右，硬件环境为Winserver 2008R2 64位 ，64G，48核，1T hdd，kettle是8.2，从Oracle（11G,linux服务器，局域网连接）抽到mysql(5.7,本机，win server)。优化...
kettel调优(提高读写速度)
weixin_44393345的博客
07-20 2566
本文链接：https://blog.csdn.net/qq_37124304/article/details/82664665  由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方： NO.1 mysql表输出的时候出现减速的原因可能是因为网
kettle提高优化插入效率
u013008898的博客
03-23 2623
1.将innerdb改为myisam 以插入速度换查询速度 2.设置数据库连接参数,以此来保证表输出时速度不下降 useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true 3.启用多线程同步插入,但是也要考虑机器本身性能问题 4.任务并行执行 ...
Kettle 表输入表输出提升10倍的技巧
tigercat的小屋
12-04 1418
【代码】Kettle 表输入表输出提升10倍的技巧。
kettle 提交数据量_kettle增量抽取数据--高效抽取方式
weixin_39670267的博客
12-20 1711
加入了一个数据汇聚分析展示的项目，其中数据抽取是一个很重要的环节，我接手之后发现kettle抽取速度越来越慢，不知道是服务器不给力还是数据库压力太大什么原因，在线搜索了很多优化方案：1.调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本(选中kettle图标-->右键-->编辑，修改参数设置)；2、调整提交(Commit)记录数大小进行优...
kettle配置提升读写性能
weixin_51296247的博客
01-12 842
MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。useServerPrepStmts=false (关闭服务器端编译，sql语句在客户端编译好再发送给服务器端，发送语句如上。
kettle优化抽取数据速度_Kettle提高表输出写入速度（每秒万条记录）
weixin_39875028的博客
12-21 1454
重点： ETL 优化多数在于表输入和表输出。转自：https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万...
kettle 输出中的插入更新 记录速度只有一条每秒 如何提高
06-13
Kettle输出中插入更新速度慢的原因可能有很多，以下是一些可能的解决方案： 1. 调整输出目标的缓冲大小：在输出步骤的属性设置中，可以设置缓冲大小，如果缓冲太小，可能会导致写入速度变慢。可以尝试增加缓冲大小，看看是否能提高速度。 2. 关闭索引和约束：在进行大量插入和更新操作时，数据库中的索引和约束可能会影响写入速度。可以尝试在插入更新之前关闭索引和约束，完成操作后再打开。 3. 使用批量操作：一次性插入或更新多条记录，可以使用批量操作来减少数据库连接次数和网络传输时间，从而提高写入速度。 4. 使用并行处理：可以尝试将数据分成多个流，同时在多个线程中进行插入和更新操作，从而提高写入速度。 5. 调整数据库配置：如果以上方法都无法提高写入速度，可以考虑调整数据库的配置，例如增加缓存大小、修改日志配置等等。不过这需要有一定的数据库管理经验，建议谨慎操作。
评论 29
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值