【Kettle】逻辑转化组件使用（值映射 增加序列 字段选择）

最新推荐文章于 2024-01-27 11:49:46 发布
最新推荐文章于 2024-01-27 11:49:46 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： Kettle 文章标签： 逻辑转化 值映射 增加序列 字段选择 kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41369191/article/details/105938400
版权
  • 值映射

值映射就是把字段的一个值映射成其他的值 在数据质量规范上使用非常多

 

需求

把json中的gender中的数据进行改变。0变为男，1变为女，2变为保密

 

拖入一个 JSON输入组件、一个值映射转换组件、一个Excel输出组件，连接三个组件

 

配置 JSON输入组件

 

配置值映射转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

 

  • 增加序列（增加一个自增的字段）

从json文件读取数据，添加序列，把数据保存到Excel

 

需求

添加一个自增的字段rowid

 

拖入一个 JSON输入组件、一个增加序列转换组件、一个Excel输出组件，连接三个组件

 

配置JSON输入组件

 

配置增加序列转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

 

  • 字段选择 （改变字段）

字段选择是从数据流中选择字段、改变名称、修改数据类型

从json文件读取数据，字段选择，把数据保存到Excel

 

需求

给一些字段改名并移除一些字段

 

拖入一个 JSON输入组件、一个字段选择转换组件、一个Excel输出组件，连接三个组件

 

配置 JSON输入组件

 

配置字段选择转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

没去过埃及的法老
关注
专栏目录
Kettle（八）：转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）
MengCXJ的博客
03-11 3357
本文介绍转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）
kettle PDI学习笔记（十二）：脚本
梦回乌托邦
11-10 449
目录javascript脚本Java代码执行SQL脚本 javascript脚本 脚本就是直接通过程序代码完成一些复杂的操作。 例子：生成日期维度数据，有日期，年，月，日，从2000年1月1日开始有1000条数据,保存到Excel 生成记录 效果：1000行数据 增加序列 计算器 字段选择移出date js脚本 最后输出即可 Java代码 执行SQL脚本 ...
KETTLE实现循环批量多表抽取添加字段
03-11
KETTLE实现循环批量更新表添加字段,将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL)
Kettle8.2转换组件之字段选择
若兰幽竹
04-06 4494
Kettle8.2转换组件之字段选择一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 需求说明： 从mysql数据库表中读取数据，由于原表中的字段不符合实际的字段，因此需要将数据库表中读取的数据字段进行更改成为目标字段，并把数据保存在Excel中。 字段选择组件说明： 字段选择是从数据流中选择字段、改变名称、修改数据类型。 实验要求： 从MySQL读取数据，修改其中几个字段（即将id改成目标字段key,将sex改成目标字段gender，将mobile改成目标字段telphone
kettle从入门到精通 第七课 kettle 字段选择
zhangjin1222的博客
01-27 1562
设置为“是”时，将解析数字，直到找到一个非数字值，如破折号或斜杠，解析然后停止，不报告错误。设置为“否”时，解析器会尝试把错误日期纠正为正确的日期。4）修改字段元数据类型，比如某个字段类型是string，值是纯数字，可以修改数据类型为number等。1）选择字段，若输入有m个字段，可以从m个字段中选择n个字段，0=
kettle常见控件（输入、输出，字段选择、设置变量、记录集连接、值映射、字符串替换、js、Java）的使用案例
07-18
包括数据库迁移，增量抽取，多表合成一张表，一个字段拆分成多字段，数据正则过滤、kitchen部署调优等案例，内含相应数据库的SQL脚本、kjb、ktr文件，以及使用过程中会经常遇到的bug注意事项
kettle8.1转换-转换组件介绍文档
08-22
- **功能概述**：值映射组件允许用户定义一系列映射规则，将流中的某个字段的值根据这些规则映射成新的字段值或替换原有字段的值。这种组件特别适用于字段值的标准化处理，比如将不统一的数据表示转换成一种统一的...
Kettle转换控件详解：Concatfields、值映射与增加常量
在"06 转换控件.pptx"的PPT中，主要讨论了Kettle（也称为Pentaho Data Integration，简称KDI）中的转换组件，这些组件是ETL（Extract, Transform, Load）过程中的关键部分，特别是处理数据清洗和转换的环节。...
Kettle的组件学习
11-01
- **定义**: 将字段中的值映射到其他值。 - **应用场景**: - 替换特定字段中的值以实现标准化。 #### 4.11 Number Range - **定义**: 用于创建数字范围。 - **应用场景**: - 分类数值数据为不同的区间。 ### 5. ...
Kettle组件 计算器全解析
weixin_45385013的博客
12-27 8583
Kettle组件 计算器全解析kettle计算器组件介绍kettle计算器组件图标kettle计算器组件界面kettle计算器功能介绍1.插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 kettle计算器组件介绍 kettle是一款基于java的ETL工具，他能够像水壶一样将装入的各种数据
Kettle 8.1 转换组件详解
"这份文档详细介绍了Kettle 8.1版本中的转换组件，包括值映射、列拆分为多行、列转行、裁剪字符串、去除重复记录、合并字段、唯一行（哈希值）、增加常量、增加序列、增加校验和和字段选择等组件，旨在帮助用户理解...
kettle数据字典动态映射
weixin_37530941的博客
06-03 806
kettle数据字典动态映射
kettle在不同类型数据库之间进行数据传输并对字段进行映射
奔跑的菜鸡
05-25 2677
官方文档 https://help.pentaho.com/Documentation/7.1/0J0/0C0/020 下载地址 https://community.hitachivantara.com/s/article/data-integration-kettle 下载完之后双击运行 启动成功
Kettle中的值映射的使用
AnameJL的博客
11-23 7058
KETTLE中的值映射的使用 用法一：生成新的一列，并且根据自己的需求，将对应值进行更改 在整个转换流程中添加一个”值映射” 双击”值映射”,在”值映射”配置窗口中进行配置 进行参数配置，配置讲解如下： ”使用字段选择”：选择好自己需要更改值的字段名(color)； ”目标字段名”：就是所要生成新的一列的字段名(new_color)； “不匹配时的默认值”：就是所选择的”使用字段名”的列中的值在没有匹配到的时候的默认值(紫色)； “字段值”：可以看到在”字段值”的下方有一个表格状的输入框，有”源值”
【数据整合与处理ETL】kettle值映射具体操作步骤
qq_56912124的博客
03-21 2568
提示：本篇文章讲解很详细哈，欢迎大家互相学习~ 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决.
[Kettle] 字段处理
Hudas的博客
11-18 2779
本文主要介绍了增加常量、将字符串设置为常量、剪切字符串、拆分字段、数值范围、计算器、增加序列和字段选择这8种常用的字段处理方法
kettle 同步序列值
最新发布
03-02
Kettle是一款开源的ETL（Extract, Transform, Load）工具，用于数据的抽取、换和加载。...在Kettle的输出步骤中，将目标表的主键字段映射到输入数据流中的一个字段，当插入数据时，数据库会自动生成唯一的序列值。
kettle的转换组件
HiterCoder
02-17 802
1、转换是转换里面的第四个分类。转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。 2、Concat fields，就是多个字段连接起来形成一个新的字段。 3、 值映射，就是把字段的一个值映射成其他的值。在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义不同。 4、增加常量就是在本身...
【kettle8.2——从零开始】一、kettle的介绍以及组成
weixin_44083609的博客
12-15 1377
一个有点长的前言… 最近在做一个政府项目，数据来源非常复杂：公安的，居委会的，发改委的… 如果以传统的方式，将接收到的数据直接放入一张表中，然后直接对这张表进行增删改查，那么就会涉及到一个问题：如果中途某一步骤时，发现数据有问题，那么如何判断到底是不是源头数据本身就有问题导致的？（其实主要是为了防止如果源头数据出了问题，我们要找到证据，否则只能打碎了牙往肚里咽） 基于这个原因，我们对数据库进行了物理分隔——分为ODS和DW两层，ODS存放源数据，DW存放我们真正在生产、测试等环境中使用的数据。
Kettle的“增加序列”(自增字段)的使用
AnameJL的博客
03-25 8355
  增加序列”就是在流字段中加一个字段，简单的说就是可以把这个字段当成标记行号的一个字段或者字段值自增的字段，会根据具体设定的值来决定起始值和增长值，这里介绍如何使用“增加序列”。 1.核心对象->转换->增加序列，将此模块拖拽到转换中，如下图所示 2.配置参数，设置字段的起始值和增长值，这里设置的起始值为1，增长至为2，如下图所示 3.结果数据如下图所示 使用起来还是比较简单的，通过结果数据可以很好的观测效果，我个人平时对于“增加序列”使用较少，但是这里还是介绍一下，希望对有需要的朋友能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值