kettle学习笔记008之转换组件

本文介绍了Kettle转换组件的使用,包括排序记录、去除重复记录、拆分字段和字段选择。通过一个实例展示了如何处理数据,如根据id字段排序、去重、name字段按","拆分为new_name字段,并去除不必要的字段,最终通过表输出组件更新数据库。" 105841789,9544141,开源飞控系统详解,"['无人机技术', '嵌入式系统', '开源硬件', '自动驾驶仪']
摘要由CSDN通过智能技术生成

转换组件主要是在转换中起到加工处理的作用。

介绍:排序记录,去除重复记录,拆分字段,字段选择。

注意:在使用【去除重复记录】组件之前一定要对去重的字段进行排序

 

使用一个小示例来介绍这几个组件的使用,数据准备如下:

要求目标表数据如下,即需要把原数据中name列不规范的数据处理掉并进行去重:

Kettle是个专业的数据处理工具,在复杂处理逻辑下,最好是将这些处理步骤交给Kettle来做,而不是全部扔给数据库去做;

a. 拖出如下组件构成一个完整的转换流程:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值