![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
KETTLE
乾坤未定,都是牛马
这个作者很懒,什么都没留下…
展开
-
mysql死锁怎么解决?Lock wait timeout exceeded; try restarting transaction
问题出现:最近在kettle传数据的时候,发现在往mysql库中传数据时出现了Lock wait timeout exceeded的问题,接口响应的时间超长,耗时五十秒左右才返回错误提示,后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误。问题场景:1、在同一事务内先后对同一条数据进行插入和更新操作;2、多台服务器操作同一数据库;3、瞬时出现高并发现象;问题原因:1、在高并发的情况下,Spring事物造成数据库死锁,原创 2020-12-08 11:50:50 · 814 阅读 · 0 评论 -
kettle 之多线程
ETL项目中性能方面的考虑通常是最重要的,特别是所讨论的任务频繁执行,或一些列的任务必须在固定的时间内执行。本文重点介绍利用kettle转换的多线程特性,以优化其性能。 假设转换中的每个步骤已经设置成最快的执行速度并且调节性能至最佳,且再没有更多的性能提升空间。但是利用kettle的多线程特性仍然可能提升转换的整体性能。调整队列大小 当尝试优化性能时,你可以调整输入、输出队列的大小。特别是如果你有足够多的内存(RAM)可用。在kettle转换中配置队列大小是转换配置中的“Nr of rows转载 2020-11-30 16:56:16 · 2834 阅读 · 2 评论 -
kettle自带的定时任务
1新建“作业”:2在‘核心对象‘中选中拖动 “start”和“转换”。3.按住“shift” 将两个按钮连接起来,现在就建成了一个定时任务。4.配置“START”双击“START”按钮,配置定时时间等信息勾选“重复”选项可以重复执行任务我设定的是每天12:00执行所选任务当然你也可以选择“时间间隔”,定一个十秒钟的或者任何时间的进行简单的测试,由于我是需要一天执行一次,所以我这是正式的设置。5.配置“转换”将你需要定时的任务文件放到这里。有的朋友会问,定时文件怎么弄?我这里说一原创 2020-12-03 10:47:14 · 3841 阅读 · 2 评论 -
kettle 数据出现乱码?????
最近需要和另一个部门做数据同步,首先我把信息增量的同步开发库的数据搞到测试环境,用kettle去做同步。开发库和测试库是同一个mysql数据库服务器下不同的shemas而已,最后导到测试库的数据库出现中文乱码。然后就开始百度了:添加characterEncoding为utf8的设置,可以看到数据源连接的高级选项中都已经显示的制定字符集为utf8,但是文本文件输出和插入数据都是乱码;数据库字符集都是utf8的,我试着指定为characterEncoding=gbk,然而还是乱码。最后:在jvm的原创 2020-12-03 10:18:42 · 486 阅读 · 0 评论 -
Kettle 出现 ‘’Field ‘id’ doesn’t have a default value‘’
1.Field ‘id’ doesn’t have a default value最近用kettle跨数据库迁移数据,搞鼓了半天出现了一个‘Field ‘id’ doesn’t have a default value’的提示。这个问题是因为你的数据库这个表格的这个字段没有自增属性,加上就行了。当然有的数据库软件可以直接修改,比如这种。我用的DB2(苦逼呀),必须在手动写sql才能改。我们建表的时候这么写。CREATE TABLET_RUNNING_THREAD(ID INTEGER N原创 2020-12-03 09:00:17 · 1564 阅读 · 0 评论