第五章kettle（数据规范化处理）

已于 2022-11-09 20:43:19 修改
阅读量959 收藏 7
点赞数
文章标签： java 前端 javascript
于 2022-10-08 17:51:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69235938/article/details/127213119
版权
本篇博客详细介绍了如何运用Kettle工具进行数据规范化处理，包括配置自定义常量数据，设定字段常量及其数据类型，以及使用计算器和数据检验控件确保数据的可读性和合理性。通过设置主输出步骤和错误处理步骤，实现数据质量的控制。
摘要由CSDN通过智能技术生成

为了提高数据的可读性及合理性，企业会要求数据遵守一定的规范，具体规范如下：

l 电子邮箱的地址必须是有效的格式；
l 输入的数据都必须是大写 / 小写；
l 日期必须是 dd-mm-yyyy 的格式；
l 电话号码必须是 xxx-xxxx-xxxx 的格式；
l 用户的年龄必须大于
最低0.47元/天 解锁文章
七安☆
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle案例——数据清洗与校验（数据规范化处理）
weixin_56944252的博客
11-12 798
数据清洗与校验
PDF 文本抽取 （Kettle 插件）
08-10
这个kettle 的插件，它可以从一个或多个 PDF 文件中抽取文本内容，抽取后的文本一页作为一行记录，便于后续处理，如写入数据库等等。 帮助手册 http://www.xgndata.com/resources/kettle/PFR_UserGuide_zh_CN.pdf 带 kettle 的完整版本下载http://www.xgndata.com/resources/kettle/kettle_3.2_xgn.zip 这个一个共享软件，需要注册,未注册有部分功能限制
kettle从入门到精通 第七十课 ETL之kettle kettle数据校验，脏数据清洗轻松拿捏
最新发布
zhangjin1222的博客
06-15 536
输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内，trans不报错，但通过错误处理步骤捕捉，并记入文件，整个数据管线正常完成直至处理完最后一个输入行。3、类型校验，也就说如果上游传递过来的类型是integer类型，但是你需要的是String类型，这个时候可以进行类型校验规则拦截，如下图所示。"name": "Java小金刚1","name": "Java小金刚2","name": "Java小金刚3","name": "Java小金刚4","name": "Java小金刚5",
kettle实例--数据检验-数据一致性处理
fxxhmn的博客
10-11 1612
单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是Personnel_ Information_New数据表中的USERID字段和输入流里面的USERID字段；1.使用Kettle工具，创建一个转换data _consistency，并添加“表输入”控件、“值映射”控件、“插入/更新”控件以及Hop跳连接线。2.双击“表输入”控件，进入“表输入”配置界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。
Kettle实例-数据检验-数据规范化处理
fxxhmn的博客
10-11 4604
单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称date_verify用于校验如期，添加后单击【确定】按钮关闭“输入检验的名称”窗口。6.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称price_verify用于校验产品单价，添加后单击【确定】按钮关闭“输入检验的名称”窗口。5.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称name_verify用于校验商品名称，添加后单击【确定】按钮关闭“输入检验的名称”窗口。
在kettle中实现数据验证和检查
热门推荐
neweastsun的专栏
09-17 1万+
利用kettle对输入数据进行验证检查，并处理跟踪错误数据。
kettle案例5.4.2--数据检验---数据规范化处理
m0_68381568的博客
11-27 826
数据检验---数据规范化处理
Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化
m0_67401761的博客
07-29 3124
亿级以上数据量。
ETL笔记——第五章 数据清洗与校验（数据检验）
haihaihai__的博客
10-31 1024
通过Kettle工具，使用弱一致性对数据表Personnel_Information中的数据进行一致性处理，即利用数据表Personnel_Information中的字段GENDER中的值训练出一个健康值预测模型，用于将原始数据中的字符串特征转化为模型可识别的数字特征。数据进行检验操作。
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
《在kettle中实现数据验证和检查》示例代码
09-17
《在kettle中实现数据验证和检查》示例代码,学习数据验证和检查的最佳示例。
KETTLE5.4中文使用说明文档
10-13
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 网上大多数是5.0以下的说明文档，此文档是5.0以上的。
KETTLE工具的相关jar包 下载直接使用即可
12-11
Kettle，全称为Pentaho Data Integration (PDI)，是一款强大的数据集成工具，它提供了图形化的界面，使得ETL（Extract, Transform, Load）过程变得简单易行。这个标题所提及的“KETTLE工具的相关jar包 下载直接使用...
kettle案例——数据清洗与校验（完全去重）
weixin_56944252的博客
11-11 502
数据清洗与校验
kettle （5.4 填充缺失值）
qq_56905137的博客
11-30 176
缺失值的填充
kettle实例-异常值处理-修补异常值
fxxhmn的博客
10-11 2269
1.通过使用Kettle工具，创建一个转换fill_unusual_value，并添加“表输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“设置值为NULL”控件、“合并记录”控件、“替换NULL值”控件、字段选择控件以及Hop跳连接线。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将异常值放在“空操作（什么也不做）”控件中。在“旧数据源：”处的下拉框选择“设置为NULL值”，“新数据源：”处的下拉框选择“空操作（什么也不做）2”；
Kettle使用_7 数据校验组件应用
数据科学汇集
01-18 5144
Kettle使用_8 数据校验组件应用 需求： 通过数据校验组件完成数据字段、长度、类型、字段是否为空、字段是否在指定的范围内的检验 统计出错误的个数（错误类型的个数） 能根据错误个数做流程终止的控制。 解决方法:通过数据校验组件结合分组统计、过滤记录和终止流程组件来完成。 场景一:字段最大长度检验 Step1: 拖动一个自定义常量组件（字段是name，类型是string，数据见下图）到转换并 Step2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值