5.4Kettle数据的清洗与检验——数据规范化处理

最新推荐文章于 2023-05-06 22:42:58 发布
最新推荐文章于 2023-05-06 22:42:58 发布
阅读量223 收藏
点赞数
文章标签： etl 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58016320/article/details/128062054
版权

5.4.1数据一致性处理
创建转换

配置表输入，写入SQL语句：SELECT * FROM personnel_information在这里插入图片描述

 配置值映射，使用GENDER字段，将Male和Female分别映射为0,1
在这里插入图片描述
配置插入/更新控件
在这里插入图片描述
运行结果
在这里插入图片描述

5.4.2数据规范化
创建转换

在这里插入图片描述

 

配置制自定义常量数据控件，添加元数据：ProductionDate,ProductionName,ProductionNumber,CommoditySales
在这里插入图片描述

 配置计算器控件，计算CommoditySales/ProductionNumber的值并命名为Unitprice
在这里插入图片描述

 配置数据检验控件，添加date_verify,name_verify,price_verify检验
在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 运行结果
在这里插入图片描述

 

钟灵7593
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
kettle案例——数据清洗与校验（数据规范化处理）
weixin_56944252的博客
11-12 764
数据清洗与校验
kettle案例5.4.2--数据检验---数据规范化处理
m0_68381568的博客
11-27 805
数据检验---数据规范化处理
KETTLE5.4中文使用说明文档
10-13
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 网上大多数是5.0以下的说明文档，此文档是5.0以上的。
文本的清洗和标准化：如何处理混乱的数据？
Chaos的博客
05-06 2837
在现代社会，我们每天都处理大量的文本数据。然而，这些数据常常是混乱的、不一致的，包含着各种各样的错误和噪声。如果我们想要从这些数据中提取有用的信息，首先需要进行文本的标准化和清洗。 本文将详细介绍文本的标准化和清洗的原理，并结合代码进行讲解，帮助读者更好地理解如何处理混乱的文本数据。
kettle （5.4 填充缺失值）
qq_56905137的博客
11-30 154
缺失值的填充
Kettle5.4实现MapReduce入门程序WordCount
若兰幽竹
05-16 1272
Kettle8.2实现MapReduce入门程序WordCount一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果 一、任务说明 利用Kettle设计实现WordCount的MapReduce程序，完成对文本词频的统计。 测试数据：I love Guiyang I love Guizhou Guiyang is the capital of Guizhu 二、设计转换和作业 设计mapper的转换 设计reducer转换 设计Job作业 三、配置转换和作业
《ETL数据整合与处理(Kettle)》教学教案 —04字段处理.pdf
06-22
《ETL数据整合与处理(Kettle)》教学教案的第4章主要聚焦于字段处理，这是数据清洗和转换的关键步骤，对于大数据技术类专业的学生来说至关重要。本章共计8学时，旨在通过理论与实践结合的方式，使学生掌握基于字段...
《ETL数据整合与处理(Kettle)》教学教案 —02源数据获取.pdf
06-22
总之，通过本章节的学习，学生将掌握Kettle在ETL过程中的源数据获取技巧，为后续的数据清洗和加载打下坚实基础。在这个过程中，理论与实践相结合，不仅提升了学生的理论知识，也锻炼了他们的动手能力。
《ETL数据整合与处理(Kettle)》教学教案 —03记录处理.pdf
06-22
《ETL数据整合与处理(Kettle)》教学教案的核心聚焦于记录处理，这是数据整合流程中的关键步骤，特别是在大数据技术类专业中。本教程详细介绍了如何利用Kettle工具进行数据清洗和转换，确保数据的质量和一致性。 ...
基于Java与Web技术的KettleWeb数据集成平台源码
最新发布
03-25
项目概述：KettleWeb数据集成平台是一款基于Java与Web技术的开源数据集成工具。此平台源码基于Kettle原生版本6.1.0.1开发，扩展了Web端操作功能，便于用户进行数据集成工作。 技术栈：项目主要采用Java语言进行开发...
Kettle 5.4.0.2源码
07-09
Kettle5.4.0.2-R 源码，找了好久终于找到了，顺便分享一下，截止上传日期是最新版的
kettle数据清洗
09-18
利用kettle工具进行数据清洗，按照条件去除不需要的内容
第五章kettle（数据规范化处理）
m0_69235938的博客
10-08 935
数据规范化处理
kettle实例--数据检验-数据一致性处理
fxxhmn的博客
10-11 1549
单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是Personnel_ Information_New数据表中的USERID字段和输入流里面的USERID字段；1.使用Kettle工具，创建一个转换data _consistency，并添加“表输入”控件、“值映射”控件、“插入/更新”控件以及Hop跳连接线。2.双击“表输入”控件，进入“表输入”配置界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。
第五章 数据的清洗与检验——操作题
weixin_51895037的博客
10-12 324
通过Kettle工具,实现以下功能: 1.对文件merge.csv进行完全去重。 （1）打开Kettle工具，新建转换 使用Kettle工具创建转换repeat.transform,并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop跳连接线 （2）配置“CSV文件输入”控件，进入“CSV文件输入”界面 双击“CSV文件输入”控件，进入“CSV文件输入”界面 单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv 单击“获取字段”按钮Kettle会自动检索...
Kettle：综合案例--构建DVD租赁商店数据仓库
blessings_的博客
11-04 2193
目录 1.加载日期数据至日期维度表 2.加载时间数据至时间维度表 3.加载员工数据至员工维度表 1.加载日期数据至日期维度表 （1）创建转换 使用Kettle工具，创建一个转换，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示 （2）配置生成记录控件 双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语
ETL数据清洗Kettle工具
Huathy的博客
02-23 1939
Kettle是一项进行数据清洗的工具。资源库官方提供的一个需要部署的在线资源库数据库资源库文件资源库（最常用）数据库连接：生成.kdb文件转换：为了完成数据加载、处理。生成的文件为.ktr。kettle的转换都是从输入开始到输出结束。作业JOB：用来调度，生成的文件是.kjb。
kettle实现数据清洗
qq_50463090的博客
10-27 6827
一、Excel的输入 1.将要处理的文件保存到Excel表中，然后打开kettle创建一个转换并命名，拖入“Excel输入”控件。如下图。 2.双击该控件打开配置，单击“浏览”打开文件选择所要处理的Excel表，单击“添加”。点击“工作表”完成下配置，再点击“字段”，获取字段。如下图。 点击“预览记录”查看是否导入成功。 3.运行并查看数据 二、生成记录 1.打开新的转换并命名，拖入“生成记录”控件。 2.在限制处输入要生成的数据量。 3.运行并查看和数据 ..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值