java api 调用 kettle，查询接口超时

最新推荐文章于 2024-10-10 09:56:47 发布
最新推荐文章于 2024-10-10 09:56:47 发布
阅读量532 收藏
点赞数
文章标签： java etl mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jerry_John/article/details/130992543
版权
文章描述了一个接口在调用Kettle执行SQL查询时响应缓慢的问题，发现在INFO日志级别下，接口响应时间可长达10s至20s。调整日志级别为WARN后，响应时间显著降低至1s至3s，单个接口调用也从3s优化到几百毫秒，揭示了日志级别对系统性能的重大影响。
摘要由CSDN通过智能技术生成

现象：

展厅页面：会对一个接口同时发起十多次的调用，此接口的实现是：java调用了kettle执行sql查询数据库的数据。

 部署上线发现接口响应慢，读取超时！而在测试环境没有发现问题……

原因排查发现：日志级别竟然会导致如此大的性能损耗！！！

将INFO改成WARN后，接口响应时间由10s~20s提升到1s~3s ！

单独调用各个接口，由3s提升到 几百ms！

 

kettle中INFO级别的日志打印竟然如此可怕……折腾了一天！

震雨啸長弓
关注
kettlejava脚本的api_java调用kettle_实现（2）
weixin_39882948的博客
12-19 362
(1).参照“java调用kettle_导入jar包(1)”,应用etl工具下lib里的所有jar(2).最近要对一个系统的数据同步到另一个系统中，要求新系统的数据结果完成之后，实时同步到另一个系统数据表中。也就是动态的传一个关联的ID。由于旧系统是vb做的，无法提供webservice接口，并且同步的表涉及到十几张表，并且两个系统表结构完全不一样，所以想到了kettle。java集成kettle...
节假日API调用失效，看我如何解决！
大数据梦想家
05-02 1万+
        上一篇博客为大家分享了Kettle的骚操作——生成年度节假日表，其中在JS代码中调用了节假日API。         关于节假日API，现在网上搜索到比较多的就是下面这种类型的 例如我在浏览器上的url上输入https://timor.tech/api/holiday/info/2019-01-01 然后就可以看到在页面上返回如下的
etl超时了，你怎么找到原因，是哪一块超时了
HelloWowofei的博客
07-18 188
使用性能监控工具来监视ETL的运行情况，查看CPU、内存、磁盘和网络等资源的使用情况，是否存在瓶颈或异常。：仔细检查ETL代码，尤其是与数据提取、转换和加载相关的部分，查看是否存在低效或冗余的操作，优化代码。：考虑是否存在多个ETL流程同时运行，造成资源竞争和性能下降，适当调整ETL任务的调度策略或资源分配。：检查ETL的日志，查看是否有明显的错误或异常信息，例如连接超时、数据库死锁等，定位问题所在。：将ETL流程分块，记录每一步的运行时间，比较每一步的耗时，找出耗时较长的环节。
Kettle连接oracle数据库超时故障处理一则
努力的习惯
03-25 1518
Kettle长时间数据同步转换会因更新插入组件数据库连接超时而失败，就用需要修改数据库的连接超时等待时间的方法解决问题。oracle数据库通过配置listener.ora修改连接超时。
Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
m0_56659620的博客
02-01 4894
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
Java 调用 Kettle API 实现数据导入 Demo
Angzush的博客
08-13 1601
Java 调用 Kettle API 实现数据导入 Demo 开始执行kettle的转换生成.ktr文件 package com.kettle.demo.kettle; import net.sf.jsqlparser.statement.insert.InsertModifierPriority; import org.apache.commons.io.FileUtils; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.
kettle-manager集成web页面调度
06-05
3. **Web应用开发**: 使用Java、Python、JavaScript等语言开发Web应用，调用Kettle REST API来获取作业和转换信息，进行作业调度。API接口包括作业列表、作业详情、启动/停止作业等。 4. **权限管理**: 在Web页面中...
聊聊RESTful - 接口设计篇（一）
热门推荐
就浩这口
10-04 1万+
在我的上一篇文章科普篇中为大家介绍了REST的起源与REST成熟度模型。同时我也指出网上有大量介绍RESTful接口设计的文章，如果我们不理解真正的REST，那么单纯的接口设计的讨论会让我们对REST产生误解。那么在我们了解了什么是真正的REST之后，再来讨论接口设计，就是学以致用
java调用kettle提供的API实现数据抽取DEMO
10-30
通过调用kettle的API接口,实现将一个库的数据转移到另一个数据库中。附件中同时提供了抽取需要的jar包
ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理
11-12
ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理-kettle脚本
kettle连接Oracle报错
12-14
kettle连接Oracle报错kettle连接Oracle报错报错信息 kettle连接Oracle报错 报错信息 错误连接数据库 [aaa] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) Listener refused the connection with th
kettle（二）java调用kettle api
w_t_y_y的博客
11-19 1556
背景：现需要定时执行数据抽取功能，kettle工具是可以直接新建job的，不过这样比较麻烦，时间都浪费在新建kettle上，也不便于监控和维护。其实不同的ktr文件模板基本都是一样的，只是里面的数据不一样而已，这时就可以只新建一个kettle转换的ktr文件，java后台新建任务，这个任务包括频率、参数，由job调度根据每个task设置的频率去执行，读取这个ktr文件，把ktr文件里面的参数用当前...
Java项目中使用Kettle，在java中使用kettle的API，此处以表输入为例
chixiongchan6972的博客
12-29 1537
import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.RowMetaAndData; import org.pentaho.di.core.database.DatabaseMeta; import ...
kettle8.2 java调用kettle API 自动生成Transformation转换
Jbase的博客
04-03 5005
import java.io.File; import org.apache.commons.io.FileUtils; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.database.DatabaseMeta; import org.pentaho.di.core.exception.Kett...
KETTLE 异常处理
anmishi2025的博客
05-09 1218
kettle未能正常执行任务时，同样需要记录下来执行操作，以便分析任务异常。 红色线条代表任务异常时执行的任务，绿色为正常执行的任务序列。 任务执行时都有日志记录，但kettle日志表中字段存在执行时间，但不存在业务日期字段。比如今天的任务执行的是T日期的数据，日志中就无法反应出来此任务执行的何时的任务，由此业务延伸出的任务设置就需要在日志表中增加业务...
java调用kettle api 制作转换-- 表输入输出
qxyu的博客
08-08 639
使用的jar包：具体jar包获取可以参考这里编译获取https://blog.csdn.net/weixin_43889494/article/details/132211256?​ 如图所示，我们需要 一个连接源(输入对象和输出对象使用了同一个源)、一个表输入对象、一个表输出对象、一个hop对象。2.数据源，这里数据源使用了常规jdbc url,驱动，账号，密码形式，一般使用国产化关系型数据库用这个即可。用kettle来完成如图所示的样例 表输入->表输出。1.初始化kettle环境(非常重要)
【JAVA开源】基于Vue和SpringBoot的高校学科竞赛平台
最新发布
杨荧的CSDN博客
10-10 1386
教师功能有个人中心，题目类型管理，竞赛题库管理，竞赛类型管理，竞赛信息管理，报名信息管理，竞赛评分管理，参赛名单管理，晋级名单管理，获奖名单管理，竞赛总结管理，报销清单管理，成绩申诉管理，参赛信息管理，参赛信息管理，往年成绩管理，获奖情况管理。
怎么设置 kettle Socket 超时时间
05-20
在Kettle中，可以通过在Socket步骤的高级选项中设置超时时间来控制Socket的超时。具体步骤如下： 1. 打开你的Kettle作业或转换。 2. 双击需要设置Socket超时的步骤，打开步骤配置对话框。 3. 选择“高级”选项卡。 4. 在“Socket 超时（毫秒）”下拉框中选择你需要的超时时间（以毫秒为单位）。 5. 单击“确定”按钮保存更改。 这样，当连接到Socket时，如果在指定的超时时间内没有收到响应，Kettle将会中断连接并报错。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值