dbmsoutputputline输出多个值_面试官：如何优化kettle工具表输出写入速度？

最新推荐文章于 2024-02-01 10:38:20 发布
最新推荐文章于 2024-02-01 10:38:20 发布
阅读量853 收藏 3
点赞数
文章标签： dbmsoutputputline输出多个值 kettle使用命令行的方式执行多个job

概述

最近用kettle时发现输出到数据表太久，1小时才写了3万条数据，平均每秒速度为8条，基于此，做一下改进。

a4a64a0c7430e2d3e7564f5d460cbf52.png
0d00970c0fba6551222a84a3a554f278.png

优化1：优化网络连接属性

mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置

在此处添加参数：

useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true characterEncoding=utf8
102ad2e987d30c6ebdd5f5c1f4345a00.png

优化2：开启多线程

kettle转换在运行时，每个步骤可被看成一个带着输入、输出行队列的工作线程，每个线程是并行运行的&#x

最低0.47元/天 解锁文章
weixin_39615643
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
10倍以上提高Pentaho Kettle的MySQL写入速度
08-07
NULL 博文链接：https://hejianhuacn.iteye.com/blog/2094981
Kettle提高表输出写入速度（每秒万条记录）
weixin_30872671的博客
06-10 1344
重点： ETL 优化多数在于表输入和表输出。 转自：https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665 由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，...
kettle优化抽取数据速度_Kettle性能优化
weixin_39626237的博客
12-21 3035
Kettle性能优化是一个系统工程，不仅涉及工具本身的优化，更涉及ETL工具之外的诸多因素，比如，ETL要读取数据库，那么目标DMBS的性能，SQL语句，网络等相关因素都影响到执行效率。根据Kettle对数据ETL的过程性能调优，主要取决于三个因素：上游渠道，工具的大小与数量，下游渠道。一 Kettle调优调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚...
kettle优化之提高MySQL读写速度
qq_35989920的博客
04-27 2732
kettle优化之提高MySQL读写速度
kettel调优(提高读写速度)
weixin_44393345的博客
07-20 1899
本文链接：https://blog.csdn.net/qq_37124304/article/details/82664665  由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方： NO.1 mysql表输出的时候出现减速的原因可能是因为网
Kettle的使用，优化及常见问题解决
weixin_50539646的博客
05-29 1242
2.就是数据库的流向和来源数据冲突，比如来源数据有一条id为1的数据，但是流向也已经存在一条id为1的数据，这个问题我个人的解决方法是，从sql语句下手，将查询得到的id加上一定的数字，使他不重复，当然也看到过一个增加序列的方法，过于复杂，而且会改变表数据，我就没这么做。值得注意的是，抽取数据的速度可能会让你心烦，因为抽取数据的速度和你的电脑配置有着很大关系，但是仍然可以通过一些人为的方式，在一定程度上打破它的性能瓶颈。一开始是各种报错，头都大了，后来经过多次查找翻阅，到现在遇到的问题都是可以解决的。
kettle输入输出速度很慢怎么办
LDWBIMER的博客
09-16 8896
kettle在连接数据库进行表输入输出时，速度很慢，具体如下图所示修改配置参数提高了近100倍，速度快到起飞。
kettle实现多表级联，输出一个目标表
04-26
kettle实现多表级联，输出一个目标表
kettle批量插入hive2，解决表输出速度慢问题
05-08
解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。
pdf-output:Pentaho Kettle Step插件以生成pdf输出
05-08
pdf输出Pentaho Kettle Step插件以生成pdf输出作者：Rishu Shrivastava #Description：此步骤从输入中获取数据并生成pdf文件。 更多细节即将到来。
DW_ETL:数据仓库KETTLE ETL资源库
05-31
DW_ETL 数据仓库KETTLE ETL资源库 数据仓库ETL资源库,通过kettle管理元数据
如何提高kettle在大数据量下的读写速度
热门推荐
weiyifang11的博客
08-05 1万+
背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候读的速度是很快的 在5000条数据量和16000条数据量下读取数据的速度 可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍 在5000条数据量和16000条数据量下读写操作的速度 这里读写操作的数据量差异之所以会这么大，是因为我没有修改输出表的提交记录数据，导致每次输出只能100
kettle 提高数据传输效率的小技巧
qq_42926686的博客
10-09 1072
4、JNDI连接方式会很慢，但是比较方便，如果数据量少的话可以用。3、在转换的页面双击出现弹窗，杂项可以改大一点。
Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
m0_56659620的博客
02-01 2715
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
js kettle 设置变量_Kettle数据提取效率提升(30W数据从100分钟到23秒优化过程)
weixin_39855706的博客
12-25 1003
性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。本章主要是介绍Kettle的性能优化及效率提升。我自己建立了一个模拟数据抽取/插入的过程，数据量在30W左右，初始速度如下图所示，每秒平均50条左右，大概需要100分钟的时间 这还仅仅是个30W的测试环境，对于在生产环境中上百万/上千万的数据，可想而之会慢成什么样，于是根据网上提...
mysql 批量数据插入很慢（kettle 输入输出组件） 性能优化办法
samur2的博客
12-29 8074
最近在做数仓重构项目，遇到一些性能瓶颈，这里记录一下解决办法。随着业务数据每天都在增加，几年前开发的etl任务开始跑不动了。大表一般是通过增量的方式插入，但是修复bug 或者每月/季度跑一次的情况 需要跑全量，原来的etl任务可能需要跑几个小时，甚至出现超时失败的情况。因此需要优化，下面介绍一些优化方法。（项目是用kettle做的，如果使用其他开发工具，也可以参考下面的思路）1、配置数据库连接参数2、去掉临时表 DDL的primary key3、调整输出组件的数量4、暂时关闭索引。
毕设项目：基于J2ME的手机游戏开发(JAVA+文档+源代码)
最新发布
06-27
第一章 绪论 1 1.1 研究背景 1 1.2 研究内容 1 第二章 J2ME及其体系结构概述 2 2.1 J2ME简介 2 2.2 J2ME 体系结构 2 2.3 移动信息设备简表概述 3 2.3.1 MIDP的目标硬件环境 3 2.3.2 MIDP应用程序 3 2.3.3 CLDC和MIDP库中的类 3 2.4 J2ME API简介 4 2.4.1 MIDP API概述 4 2.4.2 MIDlet应用程序 4 2.4.3 使用定时器 5 2.4.4 网络 6 2.4.5 使用Connector 7 2.4.6 使用HttpConnection 8 2.4.7 永久性数据（RMS） 9 2.4.8 存储集（Record Store） 10 2.4.9 记录 11 2.4.10 枚举 12 2.4.11 异常 13 2.5 用户界面（LCDUI 13 2.5.1 UI基础 13 2.5.2 高级UI 14 2.5.3 低级UI 15 第三章 手机游戏开发过程 16 3.1 贪吃蛇游戏的规则简介以及开发环境 16 3.1.1 贪吃蛇游戏的规则简介 16 3.1.2 开
kettle 提交数据量_kettle——入门操作(表输出)详细
05-25
Kettle（又名Pentaho Data Integration）是一款开源的ETL工具，可用于从不同数据源中提取、转换和加载数据。在Kettle中，表输出步骤用于将处理后的数据写入数据库表中。 要提交数据量，您需要在表输出步骤中配置以下选项： 1. 数据库连接：选择要写入的数据库连接。 2. 目标表：选择要写入的目标表。 3. 映射字段：将输入数据流中的字段映射到目标表中的字段。 4. 批量提交大小：指定每次提交的数据行数。较小的值会导致更频繁的提交，较大的值会导致更少的提交但可能会导致内存问题。建议从默认值1000开始，根据实际情况进行调整。 5. 其他高级选项：如果需要更细粒度的控制，可以使用其他高级选项，如缓冲区大小、批量提交超时等。 配置完成后，运行转换即可将数据提交到目标表中。在转换运行过程中，Kettle会将数据分批提交到目标表中，直到所有数据都被提交为止。 注意：在向数据库提交大量数据时，请确保您的数据库设置合适的缓存和日志配置，以避免性能问题和数据丢失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值