kettle之转换嵌套转换问题

于 2023-08-08 17:00:42 发布
阅读量320 收藏
点赞数
分类专栏： kettle-教程 hive编程指南 文章标签： hadoop etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26645205/article/details/132170763
版权

在kettle中如果转换中还调用了转换，需要用过滤记录和中止来判断是否转换内容成功。否则，运行失败了，也会显示成功。这样计算数据会出现问题

如下图所示：
在这里插入图片描述
如下图count转换Execution results参数如下:
在这里插入图片描述
如下图中用ExecutionNrErrors参数个数是否大于0判断运行成功与否。如果大于0说明失败，则进行中止
在这里插入图片描述

同时转换中参数传递给转换参数设置如下：
在这里插入图片描述

小亚文
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
KETTLE实现嵌套循环.rar+代码
05-30
利用KETTLE实现嵌套循环。实现A表中多条记录，需要对表字段C_A进行拆分多行存储。设计到的表，根据图片自己创建，插入语句。
【ETL实战】Kettle多任务嵌套子任务和转换
wenchun001的博客
05-24 944
Kettle多任务嵌套子任务和转换
6.1 多数据源合并
qq_46677624的博客
11-22 954
多数据源合并
Kettle批量运行转换
weixin_41300587的博客
04-14 1285
最近遇到一个问题，用Kettle做数据同步时，发现制作出来的转换太多，大约有几千个 如果一个个去运行或者把转换添加到作业中，这个工作量手都会断，后面突发想像，想着用批处理脚本去代替这个断手的工作，当然在Linux中大家也可以使用Shell脚本或者其它的方法。 批处理文件 @echo off set KETDir=D:\data-integration\转换存放的目录\ for /R %KETDir% %%s in (*) do ( D:\data-integration\Pan.bat /fil
[kettle] 一个数据库错误发生在从资源库文件读取转换时...Invalid byte 1 of 1-byte UTF-8 sequence
ynzzxc的博客
01-04 2022
背景：之前在windows server 2008 R2 上部署kettle，由于ie浏览器内核版本太低导致connect白屏，升级ie后先后测试了kettle7、kettle8、kettle9，都能正常使用，就使用的kettle9。 问题1：新建转换保存后无法打开，错误提示：一个数据库错误发生在从资源库文件读取转换时...Invalid byte 1 of 1-byte UTF-8 sequence 问题2：打开已有转换后无法运行，错误提示：一个数据库错误发生在从资源库文件读取转换时...，但调试没问
《kettle子转换即映射》博客示例代码
10-05
在Kettle中，子转换可以被嵌套，也可以作为独立的转换文件存在。在主转换中，你可以通过“Job”或者“Transformation”的步骤来调用子转换。这种方式允许你创建可复用的数据处理组件，使得项目更加模块化。 在实践...
kettle解析xml多层分组嵌套数据，StAX方法，完整解析案例（包含xml文件以及ktr文件）
04-21
kettle 解析xml数据，xml多层分组嵌套，xml stax方法，完整解析案例使用（包含xml文件以及ktr文件）。ETL大数据迁移，数据清洗。XML Input Stream (StAX) 方法
kettle实现多参数传递并且循环加载数据.zip
08-31
在IT行业中，Kettle（又称Pentaho Data Integration，PDI）是一款强大的ETL（Extract, Transform, Load）工具，用于从各种数据源抽取、转换和加载数据。本项目"Kettle实现多参数传递并且循环加载数据.zip"显然是一个...
Kettle循环事例.rar
08-18
在数据处理领域，Kettle（Pentaho Data Integration，简称PDI）是一款强大的ETL（Extract, Transform, Load）工具，常用于数据抽取、转换和加载。本压缩包"Kettle循环事例.rar"提供了一个关于如何在Kettle中设置和...
kttle 新建作业执行多个转换job按并行和顺序执行
兰辉
11-01 1万+
因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意
开源ETL工具kettle系列之常见问题
stefshawn的专栏
05-05 6510
摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 1. Join 我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么
kettle中javascript步骤错误处理
neweastsun的专栏
10-23 5892
举例说明kettle中javascript步骤的错误处理功能。
java中调用kettle转换文件
人生最遗憾的莫过于：轻易地放弃了不该放弃的,固执地坚持了不该坚持的
08-12 945
java中调用kettle转换文件 通过命令行也可以调用，然后java中调用命令行代码也可以；这样没有和java代码逻辑无缝集成。本文说明kettle5.1中如果通过其他API和java代码无缝集成；网上大多数资料都是低版本的，在kettle5.x中已经不能运行。 1、 需要哪些jar文件 以kettle开头的是必须，上图最下面三个也要；红色框中的两个是我测试转换用到的，
KETTLE-转换-映射组件
buddx的博客
04-22 1222
KETTLE-转换-映射组件
【Kettle】Kettle专栏：第2章：作业（Job）、转换（Transform）
热门推荐
老黎的专栏
01-25 1万+
*******************************    本专栏由黎老湿独家创作，一家之言，不喜勿喷    ******************************* Kettle的控件分为2种：作业（Job）和转换（Transform）。   1、重要3点 对于作业和转换，重点记住以下3点： 1、作业是步骤流，转换是数据流。这是作业和转换最大的区别。 2、作业的每一个...
kettle子转换即映射
neweastsun的专栏
10-05 7348
kettle的子转换，及映射类的步骤详细介绍。是重用转换的一种有用的方式，让一些公共算法重构成子转换，供其它转换调用。
kettle转换实践（二）-合并记录
kone666
05-26 5099
（1）合并记录步骤说明 ###旧数据来源：旧数据来源的步骤 ###新数据来源：新数据来源的步骤 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。 1. “identical” – 旧数据和新数据一样 2. “changed” – 数据发生了变化; 3. “new” – 新数据中有而旧数据中没有的记录 4. “deleted” –旧数据中有而新数据中没有的记录 #...
Kettle批量操作流程使用（二）---多个数据源单表批量操作
wangxiaotaolhc的专栏
02-12 6838
上一篇博客介绍了本次操作的一些需求和预研思路，并且对第一种方式做了测试，现在将对第二种方式做测试。虽然在网上有不少关于动态链接库的文章，但是不少是操作kettle文件，或者通过脚本去按照一定规则生成变量。好像并不是很适合我自己的任务思路，因此在借鉴他们的思路的基础上，通过多次测试，终于走通了动态链接数据源的数据抽取，为了方便一步一步的递进，本次选择了一个数据较少的表来测试，具体步骤详见下文。   ...
Kettle用多个列拆分来处理数据
txinfo的专栏
07-23 7070
在导入客户数据时，遇上了一个问题 原始数据如下： 机组编码 用户 岗位 JY01 罗启先、杭朝文 机长、车间副主任 JY02 张后伟 机长 JY03 张开林、王松 机长、副手 其中用户和岗位是一一对应的，希望转换后得到以下内容 机组编码 用户 岗位 JY01 罗启先 机长 JY01 杭朝文 ...
kettle数据转换
最新发布
09-10
对于Kettle数据转换，Kettle是一个开源的ETL（抽取、转换、加载）工具，也叫作Pentaho Data Integration（PDI）。它可以帮助您在不同的数据源之间进行数据转换和处理。 要进行数据转换，您可以使用Kettle中的各种组件，如输入步骤（Input Step）和输出步骤（Output Step），并通过连接器将它们连接起来。以下是一个基本的Kettle数据转换示例： 1. 打开Kettle软件，并创建一个新的转换作业。 2. 在作业中，选择一个输入步骤，比如"文本文件输入"，并配置它来读取您的源数据。 3. 添加需要的转换步骤，比如过滤数据（Filter Rows）、修改字段（Modify Fields）或合并数据（Merge Join）等。 4. 最后，选择一个输出步骤，比如"数据库输出"，并配置它来将转换后的数据写入目标数据库。 除了基本的数据转换操作，Kettle还提供了许多高级功能，如条件分支、循环和错误处理等。您可以根据实际需求进行配置和定制。 在完成数据转换之后，您可以将转换作业保存为文件，并在需要时调度执行。Kettle还提供了丰富的日志和监控功能，以帮助您跟踪和调试转换过程。 希望这个简要的介绍能对您有所帮助！如果您有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值