kettle PDI学习笔记（十二）：脚本

最新推荐文章于 2024-07-06 16:34:35 发布
最新推荐文章于 2024-07-06 16:34:35 发布
阅读量433 收藏
点赞数
分类专栏： Kettle 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/this_break/article/details/109582857
版权
本文是关于Kettle PDI的学习笔记，主要介绍了如何利用脚本进行数据处理。包括使用JavaScript生成日期维度数据并保存到Excel，通过Java脚本来处理Excel数据流，如读取数据并生成新字段，以及执行SQL脚本更新数据库表中的数据。
摘要由CSDN通过智能技术生成

目录

javascript脚本

脚本就是直接通过程序代码完成一些复杂的操作。
例子：生成日期维度数据，有日期，年，月，日，从2000年1月1日开始有1000条数据,保存到Excel
在这里插入图片描述生成记录
在这里插入图片描述效果：1000行数据
在这里插入图片描述
增加序列
在这里插入图片描述在这里插入图片描述
计算器
在这里插入图片描述在这里插入图片描述字段选择移出date
js脚本
在这里插入图片描述

在这里插入图片描述
最后输出即可

Java脚本

Java脚本就是使用Java语言通过变成来完成对数据流的操作。
例子：从Excel中读取数据，生成newcode字段，如果code列为null就使用name列来替换，否则就在code列后边加上123，保存结果

在这里插入图片描述Excel输入
在这里插入图片描述Java脚本，Common use下边有个main，点击后右侧会自动有代码及示例。

最低0.47元/天 解锁文章
献 丑
关注
专栏目录
Kettle的简介和使用总结
Showing_abc的博客
04-11 6779
1. Kettle简介 （1）Kettle是ETL工具，数据抽取高效稳定。中文名水壶，把各种数据放到一个壶里，然后以一种指定的格式流出。 （2）Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 （3）Kettle的核心组件： Spoon：通过图形接口，用于编辑作业和转换的桌面应用。 Pan：一个独立的命令行程序，用于执行Spoon编辑的转换和作业。 Kitchen：一个独立的命令行程序，用于执行由Spoon
Kettle能做什么？
weixin_30279671的博客
11-10 735
简介 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎...
使用脚本执行kettle文件
最新发布
weixin_43420193的博客
07-06 365
Kitchen会根据作业中定义的连接和步骤依次执行作业中的任务，并将执行结果输出到指定的目录中。Pan会根据转换中定义的连接和步骤依次执行转换中的任务，并将执行结果输出到指定的目录中。如果你只想执行本地一个配置好的ktr，而不想建数据库，不想使用xxl-job之类的工具，只要使用crontab 定时一个sh脚本去定时执行数据转换，那你可以看下去。Kitchen和Pan是Kettle中两个重要的命令行工具，用于执行Kettle作业和转换的。在上面的内容中我专门标了这两个文件执行的是哪种类型的文件。
kettle工具的作用和使用
陈厚伯的博客
03-15 9238
最近公司一个同事离职，由我来接手他手上的一个项目，我负责开发后台，因为设计到脚本统计数据，需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle，用了之后才发现，这是个好东西啊。 一.了解Kettle工具 Kettle最早是一个开源的ETL工具，以Java开发，支持跨平台运行，其特性包括：支持100%无编码、拖拽方式开发ETL数据管道；可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源；支持ETL数据管道加入机器学习算法。 二.Kettle下载和安装 1.官网下载地址：https
KETTLE的使用
weixin_45398545的博客
06-17 930
KETTLE 一、kettle是什么？ 　　 kettle是一款国外开源的ETL工具，主要作用是把各种数据放到一个kettle中，然后以一种指定的格式流出，数据抽取高效稳定，数据的转换。 　　 Kettle：四大家族(核心组件) 　　 Chef（中文：厨师）、Kitchen（中文：厨房）、Spoon（中文：勺子）、Pan（中文：平底锅） 　　Chef—工作(job)设计工具 (GUI方式)。 　　Kitchen—工作(job)执行器 (命令行方式)。 　　Spoon—转换(transform)设计工具 (G
kettle中的分组的作用
drbing的博客
04-17 6640
1、分组在统计模块中 2、分组可以按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 786
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle学习笔记.docx
08-26
【Kettle学习笔记】 Kettle，也称为Pentaho Data Integration (PDI)，是一种强大的数据集成工具，广泛用于ETL（提取、转换、加载）过程，实现数据迁移和整合。Kettle提供了丰富的图形化界面和命令行工具，使得数据...
PDI 原 Kettle 水壶，一款 ETL 数据处理工具的学习练习笔记
孙亖的专栏
02-01 1478
PDI-tutorials PDI 原水壶 Kettle，这里是我学习和练习 PDI 的一些记录。 Gitee 仓库 github 仓库 官网：https://www.hitachivantara.com/en-hk/products/data-management-analytics/pentaho-platform/pentaho-data-integration.html 社区版下载地址：https://sourceforge.net/projects/pentaho/ Tutorials_1 一
Kettle基础知识
11-08
kettle是etl中的一种工具，开源免费。抽取、清洗、转化数据非常不错
pdi-scriptengine-plugin:类似于 Script 步骤的 PDI 插件，但改进并支持更多 JSR-223 脚本引擎
07-04
pdi-scriptengine-plugin 类似于 Script 步骤的 PDI 插件，但更容易支持更多 JSR-223 脚本引擎和其他改进，例如： 用于选择脚本引擎的下拉 UI 支持传递给脚本的参数（而不是变量绑定） Groovy 代码片段（因为 Groovy 脚本引擎在 PDI 中可用） 删除特定于 JavaScript 的代码（Modified JavaScript Value 步骤是替代方法，尽管此步骤确实支持 JavaScript 脚本引擎） 能够充当数据生成器（又名输入步骤），运行脚本不需要传入行 我也在考虑在其中包含 Ivy，专门用于 Groovy Grape 支持。 这将增加脚本在执行时解决其依赖关系的能力，并有助于在集群和远程环境中部署此步骤。 总是愿意接受更多建议，当然还有贡献！
kettle介绍
路漫漫其修远兮 吾将上下而求索
03-12 1752
1、 kettle翻译成中文是“水壶”的意思。kettle的创始人的解释：想让数据从不同的地方放在一个“壶”里面，然后通过统计的格式，用数据流的方式出来。kettle本身是一个缩写，每个字母分别代表kettle E. T. T. L Environment 其中： E: ExtractionT: Transformation T: Transportation L: Loading Pent
ETL之Kettle工具十大功能特性详解
xsfqh的专栏
09-10 5656
概述 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行。 说白了就是，很有必要去理解一般ETL工具必备的特性和功能，这样才更好的掌握Kettle的使用。今天主要先描述ETL工具的通用功能。 ETL工具的功能之一：连接 任何ETL工具都应该有能力连接到类型广泛的数据源和数据格式。对于最常用的关系型数据库系统，还要提供本地的连接方式（如对于Oracle的OCI），ETL应该能提供下面最基本的功能： （1）连接到普通关系型数据库并..
Kettle介绍
qq_35368296的博客
12-28 632
Kettle的主要优势在于其易用性和强大的功能，使得数据工程师、数据分析师和开发人员能够更高效地处理和管理各种类型和来源的数据，实现数据的集成、转换和加载，为企业决策提供有力的数据支持。Kettle提供了直观易用的图形化界面，使用者可以通过拖拽和连接预定义的组件（如输入步骤、转换步骤、输出步骤等）来构建数据流程，无需编写复杂的代码。Kettle提供了丰富的转换步骤和功能，可以进行数据清洗、数据合并、字段计算、数据过滤、连接多个数据源等操作，支持多种数据格式和类型。
Kettle简介
qq_44134480的博客
01-22 7225
Kettle简介
Kettle8.2转换组件之字段选择
若兰幽竹
04-06 4381
Kettle8.2转换组件之字段选择一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 需求说明： 从mysql数据库表中读取数据，由于原表中的字段不符合实际的字段，因此需要将数据库表中读取的数据字段进行更改成为目标字段，并把数据保存在Excel中。 字段选择组件说明： 字段选择是从数据流中选择字段、改变名称、修改数据类型。 实验要求： 从MySQL读取数据，修改其中几个字段（即将id改成目标字段key,将sex改成目标字段gender，将mobile改成目标字段telphone
Kettle8.2输入组件之生成记录
若兰幽竹
03-28 1143
Kettle8.2输入组件之生成记录一、需求说明二、设计转换三、转换配置四、运行转换五、结果分析 一、需求说明 需求说明： 数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。静态维度数据就可以提前生成。 需求分析： 需要使用生成记录来生成静态维度数据，故该案例中可以简单使用生成记录与Excel输出组件进行测试即可 二、设计转换 三、转换配置 生成记录配置 双击生成记录组件，写上步骤名称 点击预览按钮，输入要显示的数据记录数，确定后会看
Kettle 5.1.0学习笔记：ETL工具详解与案例
"Kettle是一款开源的ETL工具，用于数据抽取、转换和加载，尤其在数据仓库构建中发挥重要作用。Kettle支持多种操作系统，并通过转换(ktr)和作业(kjb)文件进行工作。ETL过程包括从源抽取数据、进行转换处理、最后加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值