ETL工具 PDI
ETL工具 PDI (Pentaho Data Integration)专栏
suweijie768
享受过程,在过程中尽力
展开
-
01 - 安装Kettle
提取码: 8sd5 点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。我这边提供的安装包是绿色版的,开箱即用。双击Spoon.bat。原创 2024-04-29 21:10:57 · 275 阅读 · 0 评论 -
02 - 步骤 Kafka consumer
Kafka consumer 步骤,用于连接和消费 Apache Kafka 中的数据,它可以作为数据管道的一部分,将 Kafka 中的数据提取到 Kettle 中进行进一步处理、转换和加载,或者将其直接传输到目标系统中。原创 2024-04-29 21:12:00 · 554 阅读 · 0 评论 -
03 - 步骤 Kafka producer
Kafka producer 步骤,用于将 Kettle 中经过处理或转换的数据发送到 Kafka 的主题中。原创 2024-04-30 13:46:29 · 436 阅读 · 1 评论 -
04 - 步骤 JSON input
Kettle 的 JSON Input 步骤是用于从 JSON 格式的数据源中读取数据的步骤。它允许用户指定 JSON 格式的输入数据,然后将其转换成 Kettle 中的行流数据,以供后续的数据处理、转换和加载操作使用。原创 2024-04-30 13:47:04 · 381 阅读 · 0 评论 -
05 - 步骤 JSON output
JSON Output 步骤用于将 Kettle 中的行流数据写出到 JSON 格式的文件或流中。它允许用户将 Kettle 中处理过的数据以 JSON 格式进行输出,适用于各种数据处理和交换场景。什么是行流数据?preview data 中的每一个字段都是一个行流数据。原创 2024-05-01 20:18:49 · 451 阅读 · 3 评论 -
06 - 步骤 add constants
Add Constants 步骤是用于在数据流中添加常量字段的步骤。它允许用户在数据流中插入一个或多个常量字段,并为这些字段指定固定的数值、字符串或其他类型的常量值。原创 2024-05-03 11:51:55 · 470 阅读 · 3 评论 -
07 - 步骤 javaScript代码
JavaScript 代码是通过 JavaScript 脚本步骤来执行 JavaScript 脚本的一种方式。这允许用户在 Kettle 的数据流程中使用 JavaScript 编写自定义的脚本逻辑,用于数据处理、转换、计算等操作。原创 2024-05-03 11:53:01 · 602 阅读 · 0 评论 -
08 - 步骤 表输出
表输出(Table Output)步骤是用于将 Kettle 中的数据写入关系型数据库表的步骤。它允许用户将数据流中的数据插入、更新或删除到目标数据库表中。原创 2024-05-04 12:30:30 · 351 阅读 · 1 评论 -
09 - 数据清洗案例
kettle 面板图片。原创 2024-05-08 20:32:18 · 261 阅读 · 0 评论 -
问题解决记录 | 内存溢出
PDI工具报错 内存溢出原创 2024-05-13 00:45:00 · 246 阅读 · 0 评论 -
问题处理记录 | 表输出报错 Packet for query is too large (5,214,153 > 4,194,304).
这个错误是由于MySQL服务器接收到的查询数据包太大而引起的。具体来说,错误消息中提到的数据包大小为5,214,153字节,而MySQL服务器默认只接受最大为4,194,304字节的数据包。你可以在MySQL配置文件中找到这个参数,并将其值增大到能容纳你的数据包大小的合适值。通常情况下,将其增大到比你预期的最大数据包大小稍大一些的值,比如10MB,会比较安全。要解决这个问题,你可以尝试通过修改MySQL服务器的配置来增大。原创 2024-05-13 01:00:00 · 248 阅读 · 0 评论 -
问题解决记录 | kettle中出现中文乱码
spoon.bat的启动文件中进行修改。原创 2024-05-14 00:45:00 · 341 阅读 · 0 评论 -
Kettle 创建mysql连接报错:Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL‘
会出现这个错误的原因是因为没有mysql的驱动,只需要导入一下。如果重启之后还报错的话,就在数据库中执行一下这个命令。将mysql的驱动导入到lib目录下。然后重启kettle。原创 2024-04-28 20:36:48 · 435 阅读 · 0 评论 -
javaScript代码 转换时间格式
在PDI工具中,将时间转换格式 yy-MM-dd HH:mm:ss原创 2024-05-15 04:00:00 · 66 阅读 · 0 评论 -
Kettle 中将图片url转换为Base64
我遇到了一个应用场景需要将订阅kafka数据中的一个字段(图片url)转换为base64 然后进行下一步操作。比如我这边是添加一个常量,我们在previewData就可以看到处理好的数据。我这边的实现方式是使用javaScript去实现的。这一步就是实现url转换为base64。我们可以看到previewData。原创 2024-04-28 20:35:40 · 442 阅读 · 2 评论 -
javaScript代码中引用java代码
在PDI工具中引用写好的java代码原创 2024-05-14 06:30:00 · 343 阅读 · 0 评论