kettle案例——不一致数据的转换

已于 2022-11-22 13:56:08 修改
阅读量789 收藏
点赞数
分类专栏： 数据清洗 文章标签： 数据库 mysql
于 2022-11-22 11:54:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56944252/article/details/127977815
版权

1.数据准备

通过Kettle工具将对数据表company进行不一致数据的转换操作，即通过与供货商提供的标准价格表进行比较，得出不一致数据，从而进行修改，最终输出到数据表company中。

 2.打开Kettle工具，创建转换

 3.配置表输入控件

单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。 

在SQL框中编写查询数据表company中品牌型号不一致数据的 SQL语句，然后单击【预览】按钮，查看数据表company中品牌型号不一致数据是否成功从MySQL数据库中抽取到表输入流中，具体如图所示。 

4.配置表输入2控件

最低0.47元/天 解锁文章
weixin_56944252
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
6.2不一致的数据转换
weixin_51670063的博客
11-12 164
6.2不一致数据转换
异构数据的同步——kettle
08-05
标题中的“异构数据的同步——kettle”指的是在不同数据源之间进行数据迁移和集成的过程，而Kettle是一款强大的开源ETL（提取、转换、加载）工具，它专门用于处理这种异构数据同步的问题。Kettle，又称为Pentaho ...
利用kettle进行数据库数据比对
热门推荐
多米诺DU的专栏
11-29 1万+
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。本人用的版本是6.1。 之前用kettle这个开源的ETL工具是用来做数据抽取的，这次测试有个需求，是做数据库数据的比对。验证源表到目标表的逻辑正确，从而利用源表自己写SQL逻辑，生成的结果和目标表去比对。这次想到了利用kettle的数据比较功能，来做这些数据校验。 ...
kettle实现数据转换的完整例子
02-06
kettle实现数据转换的完整例子，代数据库脚本。kettle源码文件
Kettle工具出现预览数据类型不一致问题：在使用kettle以sqlserver2000做为输入表，MySQL作为输出表时，sqlserver所预览的数据类型与实际表中数据类型不同
jshxk的博客
05-11 216
解决kettle数据预览不一致问题
kettle实例--数据转换-不一致数据的转换
fxxhmn的博客
10-25 1696
在“第一个步骤”处的下拉框中选择“字段选择”控件，“第二个步骤”处的下拉框中选择“表输入3”控件，用于将“字段选择”控件流中的数据与“表输入3”控件流中的数据进行合并连接；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是brand、model，用于将“字段选择”控件流中的字段brand、model与“表输入3”控件流中的字段brand、model进行连接；双击“表输入”控件，进入“表输入”配置界面，具体如图所示。双击“表输入2”控件，进入“表输入”配置界面。
6.2不一致数据转换
qq_53646158的博客
11-21 216
《数据清洗》清华大学出版社，实例学习
不一致的数据源转换
CC的博客
10-12 531
kettle实现不一致的数据源转换
kettle联系实例非常全的
11-01
【Kettle：全面理解数据转换的强大工具】 Kettle，又称为Pentaho Data Integration（PDI），是一款开源的数据集成工具，专为数据仓库建设和ETL（Extract, Transform, Load）流程设计。它提供了图形化的界面，使得...
ETL数据整合与处理（Kettle）教案.rar
07-05
《ETL数据整合与处理——Kettle深度解析》 在当今大数据时代，数据已经成为企业决策的重要依据。ETL（Extract, Transform, Load）是数据仓库系统中的关键环节，负责从不同源头抽取数据、转换数据格式并加载到目标...
Kettle学习资料大全.rar
12-01
2. 示例项目：提供了一系列实际的数据处理案例，帮助你理解Kettle在不同场景下的应用。 3. API参考：涵盖了Kettle的Java API，有助于你在编程时查找所需的方法和类。 4. 脚本示例：展示了如何编写和调用Kettle的转换...
Kettle数据转换
08-04
NULL 博文链接：https://cywhoyi.iteye.com/blog/2026017
kettle实现字典转换实例
10-20
利用kettle工具进行原始字典和标准字典的映射，将原始数据进行标准化处理。
KETTLE数据库转换类型例子
08-25
此处主要以两个例子说明KETTLE可支持的数据转换操作，一个说明不同数据库表间的数据提取和加载，一个说明数据文件与数据库表间的数据提取与加载。
kettle转换数据的步骤，还算全面
11-21
kettle转换数据的步骤，有好多种的转换
kettle 转换示例
12-21
kettle 转换示例，各类kettle常用简单、复杂的交换（转换）流程
Pentaho Kettle Solutions中英文版及随书代码
03-01
Kettle的特点在于其图形化的开发环境——Kitchen和Pan，使得数据处理流程的构建和执行变得直观易用。 该压缩包包含了Pentaho Kettle Solutions的中英文版本，这将有助于不同语言背景的读者理解其内容。中英文对照...
kettle实例--数据转换-数据粒度的转换
fxxhmn的博客
10-25 752
在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id和id，用于将“排序记录”控件流中的数据与“排序记录2”控件中的数据合并连接；单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框对应的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，具体如图所示。双击“表输入3”控件，进入“表输入”界面。
kettle怎么进行必要的数据转换
最新发布
06-10
Kettle（现在通常称为Pentaho Data Integration，简称PDI）是一个开源的数据集成工具，用于数据转换、ETL（提取、转换、加载）任务。在Kettle中进行数据转换主要包括以下几个步骤： 1. **连接源数据**：首先，你需要添加数据源连接器，如JDBC连接器，用于连接数据库或其他数据源。 2. **构建工作流**：创建一个新的Kettle作业或转换，这通常包括一系列步骤，比如输入、转换步骤和输出步骤。 3. **选择转换步骤**： - **抽取**：从数据源读取数据（例如，SELECT查询）。 - **转换**：使用转换步骤对数据进行处理，如合并、过滤、计算、文本处理等。Kettle提供了许多内置的转换操作，如查找、替换、文本分割等。 - **清洗**：清除不必要或错误的数据，确保数据质量。 - **分组/聚合**：如果需要按某些字段进行汇总，可以使用分组或聚合步骤。 - **数据验证**：检查数据是否符合预期格式或规则。 4. **目标数据定义**：为转换后的数据指定输出，可以是数据库表、文件、FTP服务器或其他数据存储。 5. **配置参数和变量**：设置步骤间的连接参数，如连接字符串、表名等，使用变量管理可以提高复用性和灵活性。 6. **运行和测试**：运行转换并监控其执行，查看日志确保一切按预期工作，必要时调试和优化。 7. **调度和部署**：如果需要定期执行转换，可以设置定时任务或者通过Pentaho Server进行部署。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值