Kettle操作手册-Kettle常用应用步骤

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量770 收藏 2
点赞数 2
分类专栏： # ---Kettle 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41106844/article/details/106280954
版权

常用应用步骤

应用就是工具类。

替换NULL值

可以选择全部替换，也可以指定字段来替换。

image-20200515161946417

写日志

写日志主要在调试时使用，把日志信息打印到日志窗口。

image-20200515162307909

常用流程步骤

类似于流程控制。

switch-case

可以让数据流从一路到多路

image-20200515163150424

过滤记录

过滤记录是让数据流从一路到两路

类似于if-else。

image-20200515163939667

空操作

空操作一般作为数据流的终点。

（在实际中很少使用）

image-20200515164216805

中止

中止是数据流的终点，如果有数据到这里就会报错（一般用于校验数据使用）

image

寒 暄
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Kettle （pdi-ce-6.1.0.1）常用组件使用手册
12-06
**Kettle（pdi-ce-6.1.0.1）常用组件使用手册** Kettle，也称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，它允许用户从各种数据源提取数据，进行转换处理，并加载到目标...
Kettle中文手册3.0用户手册-实战.rar
02-19
这份3.0版本的手册，以其实战性质，深入浅出地讲解了Kettle的各项功能和实际应用。 Kettle的核心概念包括作业（Job）和转换（Transformation）。作业是Kettle中的高级流程控制结构，它由一系列相互连接的步骤组成，...
Kettle操作手册-Kettle常用输入步骤
寒暄的博客
05-22 865
常用输入步骤 属于ETL中的E，导入数据。 csv文件输入 csv文件是一种有固定格式的文本文件。 具体用法在第一个例子中已经详解，不再赘述。 Excel文件输入 Excel有两种后缀名: .xls和.xlsx。 输入不同的后缀名文件需要选择不同的引擎。 同时也可以选择同一目录下的所有文件。 选择目录，然后通配符号通配文件，也可以选择是否读取当前目录下子目录的文件。 Get data from XML XML是可扩展标记语言，主要用来传输与存储数据。 读取xml文件的话，就需要使用xpath，xpath
Kettle操作手册-Kettle常用转换步骤
寒暄的博客
05-22 3082
常用转换步骤 属于ETL中的T，属于清洗操作，是ETL过程中最重要的步骤，一般占据整个ETL过程的三分之二以上。 Concat Fields Concat Fields就是多个字段连接在一起形成一个新的字段。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UkO5oFcA-1589534171765)(https://i.loli.net/2020/05/15/WLQ8dZNSilDmOja.jpg)] 值映射 将字段里的某个值映射成其他的值 增加常量 就是在本身的数据流
Kettle操作手册-Kettle常用连接步骤
寒暄的博客
05-22 4742
常用连接步骤 类似join的功能，最主要的功能是通过关键字连接结果集。 合并记录 合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别是旧数据与新数据，该步骤将旧数据与新数据按照指定的关键字匹配、比较、合并。 标志字段： ‘identical’ - 旧数据和新数据一样 ‘changed’ - 数据发生变化 ‘new’ - 新数据中有而旧数据中没有的记录 ‘deleted’ - 旧数据中有而新数据中没有的记录 记录关联（笛卡尔积） 笛卡尔积没啥好说的，一般在导入数据前应该做笛卡尔积操作。 记录
Kettle操作手册-Kettle常用脚本步骤
寒暄的博客
05-22 2512
常用脚本步骤 直接通过代码完成复杂的操作 JavaScript脚本 JavaScript脚本就是使用JavaScript语言通过代码编程来完成对数据流的操作。 获取字段 兼容模式:根据字段类型的不同，方法不同。 myVar = FieldName.getString(); myVar = FieldName.getNumber(); 不兼容模式:直接获取 myVar = FieldName; 赋值 兼容模式：使用函数 FieldName.setValue(myVar); 不兼容模
Kettle操作手册-Kettle常用输出步骤
寒暄的博客
05-22 663
常用输出步骤 属于ETL中的L，用于导出数据 Excel输出 上面说到Excel有两种格式：XLS和XLSX，他们在输出上也略有不同： 文本文件输出 最省心也最鸡肋的输出方式，一般用于导出格式化日志文件。 SQL文件输出 可以输出表结构语句或表结构+数据语句。 表输出 将其他输入源的数据输出到表中。 更新 更新就是把数据库中已经存在的记录与数据流里面的记录进行对比，如果不同就进行更新。 插入更新 插入更新就是在更新的基础上插入了数据流中多余的数据。 操作方式与更新一样，不再赘述。 删除 删除可以和
Kettle操作手册-Kettle常用查询步骤
寒暄的博客
05-22 1215
常用查询步骤 主要的作用是用来查询数据源中的数据并合并到主数据流中。 HTTP Client HTTP Client是使用GET的方式提交请求，获取返回的页面内容 数据库查询 查询数据库表数据 流查询 在被动查询的表中按照主动查询进行匹配 ...
kettle操作手册-常用统计/映射步骤
寒暄的博客
05-18 529
ETL简介 ETL（Extract-Transform-Load的缩写，即数据抽取，数据转换，数据装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以要掌握一款ETL工具。 为什么选择kettle kettle是一款开源的，纯java编写的，可以跨平台的，绿色版无需安装的ETL工具，数据抽取高效稳定。 kettle的中文名是水壶，该项目的主旨是希望将各种数据放到一个水壶里面，然后以指定的格式让他流出来。 kettle这个ETL工具集，他允许输入不同数据库的数据，通过提供一个图
KETTLE使用手册-01
always_mountain_top的博客
05-19 4696
Kettle是一个开源的ETL工具,它可以实现数据的抽取、转换、和加载。在Kettle中,数据抽取和转换的处理过程是通过kjb(作业)和ktr(转换)来实现的。本手册将介绍如何配置数据库连接,设置变量,使用Kettle中的控件设计ETL流程。
KETTLE使用手册-02
always_mountain_top的博客
05-19 2291
介绍：Kettle是一个开源的ETL工具,它可以实现数据的抽取、转换、和加载。在Kettle中,数据抽取和转换的处理过程是通过kjb(作业)和ktr(转换)来实现的。本手册将介绍如何配置数据库连接,设置变量,使用Kettle中的控件设计ETL流程。
Kettle - Spoon - 4.1.0 操作手册
03-16
《Kettle Spoon 4.1.0 操作手册》提供了全面的指南，帮助用户了解和掌握Pentaho Data Integration（通常称为Kettle或Spoon）的使用，这是一款强大的ETL（提取、转换、加载）工具。ETL是数据处理的关键部分，用于从不...
Kettle 8.3 源码编译调试操作手册-微酷网.docx
11-25
《Kettle 8.3 源码编译调试操作手册》 Kettle，全称为Pentaho Data Integration，是一款强大的开源ETL（Extract, Transform, Load）工具，用于数据集成和转换。Kettle 8.3源码编译调试手册旨在指导用户如何在遇到...
kettle 操作手册
12-26
【Kettle 操作手册】是关于Kettle这款开源ETL工具的中文指南，它提供了详细的使用介绍。Kettle，源自其项目名“水壶”的寓意，是一个数据抽取、转换和装载的工具，允许用户将各种数据整合并以期望的格式输出。Kettle...
Kettle操作手册-Kettle简介与目录介绍
寒暄的博客
05-22 1260
ETL简介 ETL（Extract-Transform-Load的缩写，即数据抽取，数据转换，数据装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以要掌握一款ETL工具。 为什么选择kettle kettle是一款开源的，纯java编写的，可以跨平台的，绿色版无需安装的ETL工具，数据抽取高效稳定。 kettle的中文名是水壶，该项目的主旨是希望将各种数据放到一个水壶里面，然后以指定的格式让他流出来。 kettle这个ETL工具集，他允许输入不同数据库的数据，通过提供一个图
Kettle操作手册-Kettle核心概念
寒暄的博客
05-22 463
kettle核心概念 可视化编程 kettle可以被归类为可视化编程语言，因为kettle可以使用图形化的方式定义复杂的ETL程序和工作流。 kettle里的图就是转换和作业两部分 可视化编程一直是kettle里的核心概念，他可以快速构建复杂的ETL作业和减低维护工作量。同时他隐藏了很多细节，业务人员也可以使用。 转换 转换（transformation）是ETL解决方案中最重要的部分，他处理抽取、转换、加载各种对数据的操作。 转换包含一个或多个步骤，如读文件、过滤数据行、数据清洗或将数据加载到数据
Kettle操作手册-Kettle部署与第一个例子
寒暄的博客
05-22 266
kettle部署 配置java环境变量 略 运行kettle 双击spoon.bat即可 kettle界面介绍 第一个例子 将csv文件复制到Ecxel文件中 分析 抽取CSV文件内容，输出到Excel文件中。 新建转换 选择输入 配置文件输入信息 选择输出 输出文件配置 运行 执行日志 结果 ...
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 958
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
"Kettle操作手册：详尽参数及用法描述，ETL工具快速上手
Kettle操作手册是一个非常详尽的指南，旨在帮助用户理解和使用Kettle这个开源ETL工具。本手册将包含有关Kettle的所有参数和用法的详细描述，并提供一些简单的例子来展示其功能。 首先，什么是Kettle？Kettle是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寒 暄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值