Pentaho PDI 数据导入关于时间格式及重复数据处理这2个问题的解决方法

最新推荐文章于 2024-06-23 19:30:00 发布
最新推荐文章于 2024-06-23 19:30:00 发布
阅读量708 收藏
点赞数
分类专栏： Pentaho
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/monkey22/article/details/78084846
版权
在使用Pentaho PDI处理数据时，遇到两个关键问题：时间格式不匹配和数据重复。针对时间格式问题，解决方案是通过Text File Input读取文件名获取年月日，再利用String Cut和Concat Field组合时间信息。对于重复数据，通过Sort Row组件，设置只输出唯一值，以序列号和时间戳作为对比栏位进行去重，确保导入的数据不重复。
摘要由CSDN通过智能技术生成

最近处理数据，遇到这2个问题，思考了很久，最近突然开窍把问题解决了，记录如下：

第一个问题，如下图所示，数据生成的csv文件只有时分秒，而数据库设定的格式为年月日时分秒，因此导入数据库是提示出错，那年月日那里去了？


原来写软件的工程师把年月日作为文件名了


这样用PDI处理的话，可以用如下方式解决，整体过程如下：


1. 读取文件时

最低0.47元/天 解锁文章
monkey22
关注
专栏目录
Power BI版本介绍：看它如何“变幻莫测”
xueyunshengling的博客
08-18 741
到这里，咱们对Power BI的版本一探究竟，真是不虚此行。不过呢，轻松幽默的背后，也要给大家送上一份“药丸式”的提醒：别忘了，功能多也不是万能的，重要的是你用得上才行！在这个数据为王的时代，如果你能利用Power BI，想来你的数据将会变得无比耀眼，连“数据老师”都忍不住夸奖你一番。别忘了，数据多，乐趣多，明天再见，继续“上车”吧！
ivy-pdi-mongodb-steps:适用于MongoDB的Pentaho数据集成插件
05-16
在数据处理和分析领域，Pentaho数据集成（PDI，也称为Kettle）是一款强大的ETL（提取、转换、加载）工具，它允许用户从各种数据源中抽取、清洗和加载数据。而Ivy-PDI-Mongodb-Steps则是专门针对MongoDB数据库设计的...
大数据技术之 Kettle（PDI）
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
kettle(Pentaho Data Integration)-ETL及PDI概念介绍
weixin_43398232的博客
09-07 4313
什么是ETL 抽取(Extract)： ⼀般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎，实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。 转换(Transform)： 任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下⾯ ⼀些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值...
1.4 Kettle 数据同步工具详细教程
最新发布
在路上的专栏
06-23 1828
Kettle，又名 Pentaho Data Integration（PDI），是一个开源的数据集成工具，最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载（ETL）数据，适用于数据仓库建设、数据迁移和数据同步等场景。Kettle（Pentaho Data Integration）是一个功能强大且易于使用的数据集成工具，适用于多种数据处理和集成场景。其图形化界面和丰富的功能使其成为构建数据仓库、进行数据迁移和数据同步的理想选择。
pdi-ce-9.4.0.0-343.zip和pentaho-server-ce-9.4.0.0-343.zip区别及简单使用
12-06 3744
pdi-ce-9.4.0.0-343.zip和pentaho-server-ce-9.4.0.0-343.zip区别 spoon的connect按钮消失
常见数据同步工具之实时同步
weixin_51981189的博客
12-07 1844
实时数据同步是现代数据处理中非常重要的一环。在常见的数据同步工具中，Flume、Flink CDC和DataX都是非常受欢迎的选择。它们各自有自己的工作原理、优势和劣势。Flume主要用于日志传输，简单易用但对特定数据源可能有限；Flink CDC基于CDC技术实现了实时的数据同步，性能高但在复杂场景下可能需要额外的工作；DataX CDC则是基于CDC技术的实时数据同步工具，具备实时同步、高性能和精确同步的优势，但需要对不同的数据源进行适配，并对数据库性能产生一定影响。
pdi-graph-computing:此仓库包含用于Pentaho数据集成的插件，以支持图形计算概念，例如图形数据库，图形处理等。
05-25
综上所述，这个“pdi-graph-computing”插件为Pentaho数据集成带来了图形计算能力，使用户能够在数据处理流程中利用图形数据库的优势，进行更高效、更灵活的数据分析。它通过Java实现，提供了一个强大的工具，帮助...
kettle-serve，PDI的开源项目包
11-16
Kettle Serve是基于Pentaho Data Integration（PDI）的一个开源项目，主要目的是为了提供一个更便捷、服务化的数据集成解决方案。PDI，通常被称为Kettle或Spoon，是一款强大的ETL（Extract, Transform, Load）工具，...
Kettle生成1亿条数据导入oracle
04-14
【标题】"Kettle生成1亿条数据导入Oracle"是一个关于使用开源ETL工具Kettle进行大数据处理的实践案例。Kettle，又称Pentaho Data Integration（PDI），是一款强大的数据转换和集成工具，能够有效地处理和转换大量...
kettle-pdi-ktr - 采集数据示例脚本.zip
03-19
在这个名为"Kettle-PDI-KTR - 采集数据示例脚本.zip"的压缩包中，包含了7-8个具体的Kettle转换（Kettle Transformation，KTR）文件，这些文件主要用于从Oracle数据库提取数据并将其导入到MySQL数据库中。这些示例...
《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》part1
05-06
高清版（中文） 《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》主要介绍如何使用开源ETL工具来完成数据整合工作。 《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW类比较大型的应用外，Kettle 实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持、Access这类小型的数据源。并且通过插件扩展，Kettle 可以支持各类数据源。本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle抽取增量数据。 Kettle 的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle 里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。 《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》后面章节介绍了如何在 Kettle 上开发插件，如何使用Kettle处理实时数据流，以及如何在Amazon AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的使用和功能，本书还结合Kimball博士的数据仓库和ETL子系统的理论，从实践的角度介绍数据仓库的模型设计、数据仓库的构建方法，以及如何使用 PDI实现Kimball博士提出的34种ETL子系统。
完整MES代码（含客户端和server端）
03-01
完整的代码，带数据库文件，包含客户端+服务端
电子厂MES系统
04-13
电子组装，PCBA，SMT厂MES系统，防错，追溯，精益生产系统。
开源 mes系统
11-22
mes系统 mes系统 mes系统 mes系统 mes系统 mes系统mes系统
Qcadoo开源MES
08-15
Qcadoo的MES开源代码，最新下载的资源，有兴趣的朋友共同探讨
深入理解Pentaho Kettle：一个强大的ETL工具
热门推荐
聚焦于深度解析最新的编程语言特性、框架升级、架构设计、开发工具和最佳实践，涵盖Web前端（如Vue3, React, Angular等）、后端开发（如Node.js, Java, Python等）、移动端开发（iOS, Android原生及跨平台开发）
06-05 5万+
Pentaho Kettle是一个开源的数据集成平台，它提供了一种简单的方式来创建和管理数据集成流程。这些流程可以从各种数据源提取数据，转换数据，并加载到目标系统中。Pentaho Kettle支持各种数据源，包括关系数据库、大数据源（如Hadoop）、文件系统（如CSV、Excel、XML等）等。
一、DeepOps的ETL小笔记-kettle/pentaho(pdi)简介
OPS ON THE GO
12-18 447
说到ETL 是英文Extract-Transform-Load的缩写 ，它是用来描述从数据源端抽取，对其进行转换，然后将数据加载到目标端的一些列过程。 很多系统之间都存在一定的批量数据的交互。然而一个好的ETL工具，在开发和使用维护上可以让我们事半功倍。 目前工作的原因用到的比较多的ETL工具就是Kettle（后期这个改名为pentaho data integration）。下载地址：https:...
pentaho pdi(kettle) spoon检测空流对象用法
路过君的博客
09-13 1652
版本 pentaho-pdi-ce 9.2 说明 如果输入流为空时，输出流将自动添加一行空行（所有字段为null）。 应用 定义增量同步转换时，使用表输入从目标表查询最新更新的时间戳用于查询新增数据。 如果目标表没有记录时，则表输入返回一个空流。 如果希望在这种情况下进行全量更新，则使用检查空流对象添加一行空行，以触发后续操作 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值