Kettle踩过的坑

最新推荐文章于 2023-10-08 10:34:48 发布
最新推荐文章于 2023-10-08 10:34:48 发布
阅读量454 收藏 1
点赞数
分类专栏： Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43125677/article/details/102565912
版权

Kettle踩过的坑

表输入控件 : 找不到对象

SQL中不能用 *  , 且表类型要正确 , 不能是ORACLE 临时表 , 和日志表

表输出控件 : 任务运行成功,但输出的表无数据

create global temporary table 表明
‘原因 : 在PLSQL中进行了建模 , 导出的SQL中 , 建立的是临时表 ,导致数据输出到表之后,被自动删除’

字段选择控件 : 日期格式转换一直不成功

解决 : 使用字段选择控件进行对字段内容进行格式化

今天的砖很烫手
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kettle（PDI）的坑，有点大
sunlen的专栏(编程技术探讨)
06-05 3116
网络上有不少Kettle的文章，但实际上都大同小异，都是些非常基础的文章，实际上在使用过程中还有遇到不少的坑，这部分在网上资料比较少，这里主要讲一下我们在使用过程中遇到的各种问题，属于难得的实践经验。 说起ETL工具，很多人都觉得这个东西简单，不用学Mysql，不用学大数据的编程，简单的通过图形化的拖拉拽，就能实现对数据的抽取、转换、加载，而实际上往往并非如此，在复杂一点的应用场景上，往往就会出现一些意想不到的坑。 低代码化、无码化的系统架构，现在比较流行。Kettle作为一个大数据的ETL..
kettle7.0.0
08-12
【Kettle 7.0.0】是一款强大的数据集成工具，也称为Pentaho Data Integration（PDI）。这款开源软件提供了全面的数据转换和ETL（提取、转换、加载）功能，帮助企业从各种数据源整合数据并进行清洗、转换，以满足数据...
Kettle入门踩过的坑
s1162276945的博客
05-05 488
1、变量名包含大写字母 SELECT IFNULL(max(UPDATE_TIME),'${ETLTIME}') as max_updatetime FROM 库名.表名 WHERE UPDATE_TIME> '${ETLTIME}' ORDER BY UPDATE_TIME ASC; 所以表的字段命名和变量名尽量用小写，不要有大写字母，如果有，一定要在变量名外面加单引号，否则报错。 ...
Kettle3.2安装中踩过的坑----闪退等！
yinbing5818的博客
08-31 924
公司用kettle3.2做ETL 下载好、解压 （下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/） 3.2老版本的kettle真的是一坨。。。 无力吐槽 嗯。。下载好了，双击spoon.bat 等待着。。。 抽支烟去吧。 好的。。 斯~ ...
Kettle遇到的坑
weixin_45099311的博客
10-14 408
![ 使用Kettle加载mysql数据到hive中,遇到的坑 导入hive后的数据映射始终为null, 各种找错误原因. 最终因为分隔符’,'的中英文原因. 真是哭晕在厕所,这么无意义的问题找了近一个小时. ???? 立贴为见 ](https://img-blog.csdnimg.cn/20191014085937430.png?x-oss-process=image/watermark,type_Z...
Kettle 常踩的坑
说文科技，做有态度的研究。
11-28 1864
Kettle 常踩的坑 1. 坑一 之 jndi 连接 编辑数据库连接（jndi形式）之后，会导致相同的数据库连接全部修改，而不是仅仅修改某一个。如下： 如果修改某一个jndi链接，都会导致如上三个jndi连接造成更改。 1.1 正确操作 如果是需要修改某个jndi连接，应该使用新建 而不是编辑。 ...
kettle实现SQL关联查询
最新发布
04-03
Kettle，也称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，用于数据整合和清洗。它以其图形化的界面和灵活的数据处理能力而受到广泛欢迎。在Kettle中，Step是数据流中的...
Pentaho Kettle 9.4
08-21
Pentaho Kettle 9.4
kettle 9.2 各版本 drivers
08-16
Kettle，全称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，用于数据整合和迁移。它以其图形化的界面、灵活的数据处理能力和跨平台的特性深受用户喜爱。在9.2这个版本中，...
kettle 9.0 源码
04-11
Kettle，全称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，用于数据抽取、转换和加载。Kettle 9.0 是其一个重要版本，提供了许多先进的功能和改进，使得数据处理变得更加...
Kettle--粗心--入坑
福贵儿的博客
09-09 1686
事情经过是这样的： 因为要将其他数据库中的数据导入到数仓中，然后就用Kettle来实现。一开始我在做全量插入时候，用到表输出，然后增量更新的时候，用的是INSERT/UPDATE。最后同步到数仓中的数据居然是成倍的。后来经过排查，这个三张表我在数仓创建的时候，忘记帮它们添加主键，导致每次增量更新的时候，并没有UPDATE，而是直接插入了，就是因为没有主键。下次注意！ 常见几种插入...
springboot 整合 kettle 坑点
animalcoder
11-30 1384
需要引入的jar:缺其中一个就会报一堆奇奇怪怪的错 1.注意放到lib的位置，后面会用上。 2.jar从kettle客户端里扒拉来 3.我这边是用kettle从oracle转到mySQL做增量同步，所以要ojdbc8,mysql5.1.49，用5.1.49注意mysql数据库mysql配置要用driver-class-name: com.mysql.jdbc.Driver pom的写法：注意<build>里面的写法,这样后面打包后的外部jar包才会跟着过去，不然就会部署后运行报.
springboot整合Kettle同步mysql数据跳坑指南
代码大师麦克拉瑞的博客
06-18 3478
需求背景 背景是想通过java调度kettle自带工具spoon生成的转化(ktr)或者作业(kjb)文件，从而实现数据同步，目前使用的是mysql数据源，没有做其他数据源的处理。后续有空会更新其他数据源的填坑过程。先卖个关子，mysql驱动在这里有个巨大的坑。 项目构建及依赖 构建了一个maven工程，引入springboot相关的包 <parent> <groupId>org.springframework.boot</groupId>
开源ETL工具kettle系列
热门推荐
Matt的技术专栏
05-29 4万+
开源ETL工具kettle系列之常见问题摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1. Join我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6
为什么需要使用临时表
bxb_0315的博客
10-08 87
窗体一般都需要输入很多条记录，但是控件保存的数据只能保存一条，所以就需要使用一个表作为窗体的记录源，但是如果直接使用正式表的话，会出现当你输入数据的时候就直接保存到表中去了，修改也同理。为了以防意外，我们平台就使用了临时表的机制，使用临时表作为窗体的记录源，当你输入数据或者修改数据的时候，数据的处理是保存在临时表中，只有当你点击保存按钮的时候，数据才会通过。的方式将临时表中的数据一一保存到正式表中去。
解决Kettle插件找不到问题，导致本地运行Kettle API报：Can‘t run transformation due to plugin missing
minglei0528的博客
11-18 2320
帮助用户解决Kettle本机调用API遇到Can't run transformation due to plugin missing问题，深度剖析原因。
Kettle---依赖控制及失败重试
Abner_G的博客
02-23 3565
Kettle---依赖控制及失败重试🔎场景介绍：⭐️解决方案：计算表中的记录数 🔎场景介绍： 在千万级数据量的情况下，清空一张表，插入数据。很简单的操作。 可以使用SQL脚本执行清空操作，然后插入数据。 这样的话就可能存在风险：清空指令已执行，但是表还未真正的清空，同时插入数据操作已开始，这样清空数据操作有可能将新插入的数据一并清空。大数据量在Mysql数据库中体现应该更明显。 ⭐️解决方案： 【计算表中的记录数】&【等待】来结合使用，编写如图。 计算表中的记录数 判断表中的数据量（类似sele
Mac Kettle闪崩或秒退处理
qq_34999090的博客
02-17 3124
Mac Kettle闪崩或秒退处理 MAC双JDK安装
KETTLE常见问题和优化
maenlai0086的博客
01-30 1502
http://www.cnblogs.com/jifeng/p/4741498.html 这篇介绍KETTLE的博文可以经常阅读 下面是我自己开发的一些体会： 1.创建MySQL空资源库报错问题：因为boolean类型的问题，Mysql中的boolean类型实际上保存为TINYINT，需要手动的修改生成资源库的sql脚本，将其中的插入用户ENABLED的值由Y修改为1，在数据同步的时候也特别要...
kettle数据量过大怎么办
05-31
如果在使用Kettle进行数据处理时，数据量过大导致内存不足或处理速度过慢，可以尝试以下方法： 1. 增加Kettle的JVM堆内存大小，在启动Kettle时加上参数 -Xmx，例如 -Xmx4096m，将Kettle的JVM堆内存大小设置为4GB。 2. 使用Kettle的分布式执行模式，将任务分散到多个机器上执行，以减轻单个机器的压力。 3. 对于需要处理的大量数据，可以使用Kettle的分步执行模式，将数据分割成多个小批次进行处理，以降低单次处理的数据量。 4. 在Kettle的步骤中，使用较少内存的处理方式，例如使用流式处理而不是先将所有数据读入内存再进行处理。 5. 对于需要进行聚合或排序的数据，可以考虑使用数据库的聚合函数或索引来进行处理，以减轻Kettle的压力。 需要根据具体情况选择合适的方法进行优化，以提高数据处理的效率和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值