kettle PDI学习笔记（五）：转换

最新推荐文章于 2021-01-22 08:37:41 发布
最新推荐文章于 2021-01-22 08:37:41 发布
阅读量622 收藏 3
点赞数 1
分类专栏： Kettle 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/this_break/article/details/109557655
版权
本文介绍了Kettle PDI中的转换操作，包括Concat fields（字段连接）、值映射、增加常量、增加序列、字段选择、计算器、字符串操作、去除重复记录和排序等，展示了各种操作在数据处理中的应用。
摘要由CSDN通过智能技术生成

目录

Concat fields

从Excel获取FirstName和LastName连接起来，放到Excel
连接
框框这里是两个字段之间的连接符
在这里插入图片描述
拼接后
在这里插入图片描述
结果

值映射

值映射就是把字段的一个值映射成另一个值，比如数据库经常用0、1代表性别
在这里插入图片描述
在这里插入图片描述
数据来自网上，并没有性别歧视，如有冒犯请联系我删除。
在这里插入图片描述

增加常量

增加常量就是在本身的数据流里添加一列数据，数据相同。
在这里插入图片描述
这好像没啥用，肯定是我还没体会到它的应用场景
在这里插入图片描述
在这里插入图片描述

增加序列

能想到的假

最低0.47元/天 解锁文章
献 丑
关注
专栏目录
PDI(KETTLE)学习笔记
qq_27937101的博客
08-02 4401
PDI（KETTLE）学习笔记简介主要文件组件树介绍转换作业组件生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 一款ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）工具...
PDI设计转换任务
#include
03-29 703
Pentaho Data Integration(PDI),Kettle是PDI以前的名称.在2006年Kettle加入了开源的BI组织Pentaho,正式命名为PDI, 加入Pentaho后Kettle的发展越来越快了，并有越来越多的人开始关注它了.PDI(Kettle)是一款开源的、元数据驱动的ETL (数据的抽取、转换、加载)工具,是开源 ETL 工具里功能比较强大的一个.PDI官网,最新版...
kettle PDI文档学习 （一）创建资源库
dylanwang_cn的博客
07-22 1227
一、 创建连接仓库 创建连接存储库 Verify thePentahoServeris running, and start the PDI client. Kettle支持连接的资源库类型有三种： 1.Pentaho Repository：使用的是Ket...
关于 PDI 性能的简单测试
csdn0214的博客
07-15 335
PDI 使用了下面的技术来提高性能：1. 数据库连接池。2. 多线程并发进行数据转换: 转换步骤是并发执行的,使用生产者/消费者的模式,每个步骤由一个线程来执行,当前步骤将一次处理完的数据放在缓存里,由下一个步骤的线程读取并再处...
kettle-列转行
weixin_41668007的博客
06-29 559
在转行前需要排序
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 517
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 789
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 457
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（十三）：作业
梦回乌托邦
11-10 353
目录简介作业项作业跳例子 简介 大多数ETL项目都需要完成各种各样的维护工作。 例如，怎么传送文件，验证数据库表是否存在，等等。这些操作都是按照一定顺序完成。因为转换以并行方式执行，就需要一个可以串行执行的作业来处理这些操作。 一个作业包含一个或多个作业项，这些作业项以某种顺序执行。作业执行顺序由作业项之间的跳（job hop）和每个作业项的执行结果来决定。 作业项 作业跳 例子 先从Excel读取数据，保存到Excel，再从文本文件中读取数据保存到Excel，如果产生错误就发送邮件，并且停止作业，如
kettle PDI学习笔记（二）：kettle快速上手
梦回乌托邦
11-06 291
目录kettle的快速体验 kettle的快速体验 读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出） 我这里找了一个cvs文件，改了一下凑活用 回到软件，新建一个转换并保存 点到核心对象，把csv文件输入拖到工作台 双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。 在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
kettle行转列详解
10-11
kettle etl 行转列 ；讲解清楚，用列经过测试能通俗易懂讲解这个知识点
kettle 列转行实际应用场景demo！！！
蛋蛋淡淡定的庄园
07-02 631
本文主要记录kettle列转行控件的使用。 1、用例脚本 create TABLE studentInfo ( studentno int, Cname varchar(10), grade int ); insert into studentInfo values(2018100,‘语文’,81); insert into studentInfo values(2018100,‘数学’,82);...
Kettle,在User Defined Class中动态输出多行
weixin_34153893的博客
03-27 132
2019独角兽企业重金招聘Python工程师标准>>> ...
hive中实现行转列_Kettle（PDI）转换中转换之行转列详解
weixin_31439191的博客
12-31 280
概述Row normaliser(行转列)此步骤将输入流的行转换为列。可以使用此步骤对列的重复组进行规范化。选项行转列Row normaliser(行转列))步骤有以下选项：Step name(步骤名称)：在画布上指定Row normaliser(行转列)步骤的唯一名称。您可以自定义名称或将其保留为默认名称。Type field(Type字段)：指定输出数据中的新列的名称。字段Fieldname(...
kattle使用手册翻译-PDI数据转换教程
phoenixdsf的专栏
08-16 1749
偷懒了好几天，今天不论怎么着也要翻译一点 翻译自:https://help.pentaho.com/Documentation/7.1/0J0/0C0/020 Spoon（勺子）的数据透视图准许你创建两种基本的文件类型：转换器（transformations ）和任务（jobs）。转换器（Transformations ）通常用于为ETL过程描述数据流，例如数据源、统计数据或者
利用游标进行列转行实例详解
weixin_30823001的博客
01-07 154
游标的定义、语法啥的请诸君搜索百度，本博文是一个详细的实例讲解，写的不一定最好，抛砖引玉而已。 假如有一张表#DETAIL: CREATE TABLE #DETAIL ( ID INT NOT NULL IDENTITY(1, 1), 类型INT NOT NULL DEFAULT(0), 楼宇NVARCHAR(50) NOT NULL DEFAULT(''), ...
kettle PDI学习笔记（八）：查询
梦回乌托邦
11-09 270
目录HTTP client数据库查询数据库连接流查询 HTTP client HTTP client是使用get的方式提交请求，获取返回的页面内容。 用这个接口可以得到一个xml： http://services.odata.org/V3/Northwind/Northwind.svc/Products/ 自定义常量 HTTP client Get data from xml /feed/entry/content/m:properties 结果 数据库查询 就是左连接查询 数据库连
从英文人名中提取First_Name、Middle_Name、Last_Name
Kevin_Hoo的博客
05-02 5500
使用SUBSTRING、CHARINDEX、RIGHT、LEFT函数提取英美人名中的First_Name、Middle_Name、Last_Name。
tk 更新 某一字段为null_Kettle（PDI）转换中输出之插入/更新详解
weixin_33078391的博客
01-22 1010
概述Insert / update(插入 / 更新)此步骤首先使用一个或多个查询关键字查找表中的一行。如果找不到该行，则插入该行。如果可以找到它，并且要更新的字段相同，则不执行任何操作。如果它们不完全相同，则更新表中的行。注意：如果有多个匹配关键字的行，则只比较找到的第一行。这可能会导致不同的结果，这取决于所找到的行是否与给定值匹配。更新场景是这样的：如果在多个行具有相同关键字的情况下发现差异，则...
Kettle 5.1.0学习笔记：ETL工具详解与案例
"Kettle是一款开源的ETL工具，用于数据抽取、转换和加载，尤其在数据仓库构建中发挥重要作用。Kettle支持多种操作系统，并通过转换(ktr)和作业(kjb)文件进行工作。ETL过程包括从源抽取数据、进行转换处理、最后加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值