kettle （5.8 数据规范化处理）

最新推荐文章于 2023-06-09 18:27:57 发布
最新推荐文章于 2023-06-09 18:27:57 发布
阅读量313 收藏 1
点赞数
分类专栏： kettle学习 文章标签： etl 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56905137/article/details/128121356
版权

一、创建转换

二、配置控件 

1、自定义常量数据

单击“元数据”选项卡，添加字段常量ProductionDate、ProductionName、ProductionNumber以及CommoditySales并指定其数据类型。 

 单击“数据”选项卡，添加自定义的数据。

2、计算器

 

3、数据检验 

 

 

4、空操作（什么也不做） 

单击选中“数据检验”控件，然后按住Shift键，通过分发方式设置“主输出步骤”连接到“空操作（什么也不做）”控件；设置“错误处理步骤”连接到“空操作（什么也不做）2”控件。

三、执行结果 

  

潘潘爱吃肉肉
关注
专栏目录
第五章kettle（数据规范化处理）
m0_69235938的博客
10-08 974
数据规范化处理
kettle案例5.4.2--数据检验---数据规范化处理
m0_68381568的博客
11-27 838
数据检验---数据规范化处理
Kettle Spoon
wumingwuxin的博客
07-13 904
前言 现在的数据库种类越来越多，数据库备份的格式也越来越复杂，所以数据格式化一直是一个老生常谈的问题。据库备份文件格式那么多，既有SQL的，也有BAK的，还有TXT的等。数据库种类也有很多，MySQL，Oracle，SQL server等，怎么对这些数据库进行管理？昨天泄露access格式的数据库，今天泄露了excel格式的数据库，明天又泄露了SQL格式的数据库。要格式化那么多种类的数据库，
5.4.2Kettle数据的清洗与检验——数据规范化处理
qq_57980484的博客
11-22 244
5.4.2Kettle数据的清洗与检验——数据规范化处理
5.4Kettle数据的清洗与检验——数据规范化处理
qq_58016320的博客
11-27 259
配置制自定义常量数据控件，添加元数据：ProductionDate,ProductionName,ProductionNumber,CommoditySales。配置计算器控件，计算CommoditySales/ProductionNumber的值并命名为Unitprice。配置数据检验控件，添加date_verify,name_verify,price_verify检验。配置值映射，使用GENDER字段，将Male和Female分别映射为0,1。5.4.2数据规范化。
kettle案例-数据规范化处理
wt_125的博客
11-26 278
数据清洗
Kettle5.4利用mapreduce格式化日志（预处理）
若兰幽竹
06-24 1450
Kettle5.4格式化日志（预处理）实验环境及配置一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果 实验环境及配置 版本：hadoop-2.7.3 模式：伪分布式 网络模式：NAT 虚拟机ip：192.168.215.135（读者根据自己得实际情况修改） 虚拟机主机名称：hadoop001 虚拟机内存：4G kettle版本5.4（由于虚拟机内存有限，尽量使用低版本的） kettle环境安装及配置（参考之前的博客） 一、任务说明 测试数据：电商日志weblogs_r
《ETL数据整合与处理(Kettle)》教学教案 —04字段处理.pdf
06-22
《ETL数据整合与处理(Kettle)》教学教案的第4章主要聚焦于字段处理，这是数据清洗和转换的关键步骤，对于大数据技术类专业的学生来说至关重要。本章共计8学时，旨在通过理论与实践结合的方式，使学生掌握基于字段...
kettle——数据一致性、数据规范化
最新发布
m0_60154718的博客
06-09 1221
创建表结构数据记录。
《ETL数据整合与处理(Kettle)》教学教案 —02源数据获取.pdf
06-22
Kettle是一款强大的开源ETL工具，由Pentaho公司开发，它提供了丰富的图形化界面，使得非程序员也能进行数据处理工作。本章节主要探讨如何使用Kettle获取来自各种源的数据，包括数据库、Excel文件和CSV文件等。 **二...
《在kettle中实现数据验证和检查》示例代码
09-17
《在kettle中实现数据验证和检查》示例代码,学习数据验证和检查的最佳示例。
5.4.2 数据检验--数据规范化处理
qq_50863100的博客
11-25 130
使用kettle工具进行数据规范化处理。
Kettle实例-数据检验-数据规范化处理
fxxhmn的博客
10-11 4672
单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称date_verify用于校验如期，添加后单击【确定】按钮关闭“输入检验的名称”窗口。6.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称price_verify用于校验产品单价，添加后单击【确定】按钮关闭“输入检验的名称”窗口。5.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称name_verify用于校验商品名称，添加后单击【确定】按钮关闭“输入检验的名称”窗口。
kettle使用经验01
AnalogElectronic的博客
11-09 859
文章目录一、抽取的数据量特别大，2000万条数据，内存不能一次性加载出来时，可以采用分页查询的办法。构建分页、循环执行。主体作业1、build_query_page转换1.1自定义常量数据，先确定元数据、然后确定数据1.2字段选择，先确定字段名称、然后确定元数据1.3复制记录到结果字符串2、 loop_execute作业2.1 设置变量转换2.1.1从上一步获取结果2.1.2增加常量2.1.3 计算器12.1.4计算器22.1.5 设置变量2.2 执行分页查询转换二、作业的执行顺序 一、抽取的数据量特别大，
数据预处理之文件转换kettle：数据质量统计
weixin_45116412的博客
10-30 732
【实验目的】 利用Kettle的“分组”，“JavaScript代码”，“字段选择”组件，实现数据质量统计。 【实验原理】 过“JavaScript代码”对表格的记录进行质量分类，然后通过“字段选择”生成带质量标志位字段的数据，再通过“分组”统计数据的质量问题。 【实验步骤】 一、创建转换 1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。 2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好
在Kettle里使用参照表进行数据校验（流查询实现）
热门推荐
wzy0623的专栏
12-26 1万+
参照表一个常见的用途就是做数据的查询和检验。提供一个输入字段，如果输入字段里的值没有匹配上，就给对应的数据行做一个错误标志。下面使用城市和邮政编码查询做个例子，演示如何使用计算器步骤和查询步骤来判断地址和邮政编码是否匹配。完整的转换如下图：  首先，需要一些输入数据，本例使用了“自定义常量数据”步骤，并添加一些测试数据作为输入，如下图：  第一个清洗步骤就是从邮政编码里提取数字，要使用计算器步骤。
5.3Kettle数据的清洗与检验——修补异常值
weixin_51063182的博客
10-21 292
Kettle数据的清洗与检验——修补异常值
Kettle使用_7 数据校验组件应用
数据科学汇集
01-18 5203
Kettle使用_8 数据校验组件应用 需求： 通过数据校验组件完成数据字段、长度、类型、字段是否为空、字段是否在指定的范围内的检验 统计出错误的个数（错误类型的个数） 能根据错误个数做流程终止的控制。 解决方法:通过数据校验组件结合分组统计、过滤记录和终止流程组件来完成。 场景一:字段最大长度检验 Step1: 拖动一个自定义常量组件（字段是name，类型是string，数据见下图）到转换并 Step2...
kettle 使用js格式化日期
亮大大的博客
06-01 1612
【代码】kettle 使用js格式化日期。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值