通过kettle工具实现数据清洗与转换（实例）

最新推荐文章于 2024-08-22 08:38:52 发布
最新推荐文章于 2024-08-22 08:38:52 发布
阅读量3.4k 收藏 19
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46602903/article/details/120751589
版权
本文通过实例详细介绍了如何利用Kettle工具进行数据清洗，包括merge.csv文件的完全去重操作和people_survey.txt文件中缺失值的填充。步骤清晰，涉及CSV文件输入、唯一行（哈希值）过滤、文本文件输入、缺失值处理等多个步骤。
摘要由CSDN通过智能技术生成

一、对文件merge.csv进行完全去重。

1、使用Kettle工具创建转换repeat_transform，并添加“CSV文件输入“控件、”唯一行（哈希值）“控件以及Hop跳连接线。
在这里插入图片描述
2、配置”CSV文件输入“控件。
在这里插入图片描述
在这里插入图片描述
3.配置”唯一行（哈希值）“控件
在这里插入图片描述
4、运行转换。
在这里插入图片描述
在这里插入图片描述

二、对文件people_survey.txt中的缺失值进行填充。

1、打开kettle工具，创

最低0.47元/天 解锁文章
牛马不配流泪
关注
Kettle：综合案例--构建DVD租赁商店数据仓库
blessings_的博客
11-04 2243
目录 1.加载日期数据至日期维度表 2.加载时间数据至时间维度表 3.加载员工数据至员工维度表 1.加载日期数据至日期维度表 （1）创建转换 使用Kettle工具，创建一个转换，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示 （2）配置生成记录控件 双击“生成记录”控件，进入“生成记录”配置界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语
kettle数据清洗
09-18
利用kettle工具进行数据清洗，按照条件去除不需要的内容
数据清洗作业（Kettle转换和作业的例子）
qq_45810941的博客
10-06 762
1.转换 1.双击Kettle下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择“文件”—>“新建”->“转换”命令创建一个转换。 在Kettle主界面的工作区右击空白处，从弹出的快捷菜单中选择“新建注释”的命令，并且添加注释内容。 然后单击“输入”，把“表输入”拖曳到Kettle工作区；单击“输出”，将“文本输入”拖曳到Kettle工作区。 按住Ctrl同时选中“表输出”和“文本文件输出”并右击，从弹出的快捷菜单中选择“新建节点连接”命令，在弹出的窗口中选择“起始步骤”和“目标
Kettle数据转换
最新发布
大连赵哥的博客
08-22 478
Kettle数据转换
kettle实例--数据检验-数据一致性处理
fxxhmn的博客
10-11 1656
单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。单击【获取字段】按钮，用来指定查询数据所需要的关键字，这里选择的是Personnel_ Information_New数据表中的USERID字段和输入流里面的USERID字段；1.使用Kettle工具，创建一个转换data _consistency，并添加“表输入”控件、“值映射”控件、“插入/更新”控件以及Hop跳连接线。2.双击“表输入”控件，进入“表输入”配置界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。
Kettle实例-缺失值处理-去除缺失值
fxxhmn的博客
10-11 2986
在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。
kettle实现字典转换实例
10-20
在本实例中，我们将深入探讨如何利用Kettle实现字典转换，以便将原始数据转化为标准格式。 字典映射是数据标准化的一种常见方法，其核心思想是创建一个映射关系，将源数据中的特定值与预定义的标准值进行对应。这...
《数据清洗》：用Kettle工具实现转换和作业
weixin_45672039的博客
09-27 1896
一个数据抽取过程主要包括创建一个作业，并且每个作业可以包括多个转换操作。此数据抽取过程可通过Kettle工具完成，也可以通过编写程序调用的方式实现。 Kettle工具的执行分为两个层次，即转换和作业，这两个层次最主要的区别在于数据传递和执行方式。 一、转换 转换是ETL解决方案中重要的组成部分之一，主要用于数据的抽取、转换以及加载等操作，其本质是一组图形化的数据转换配置的逻辑结构。 一个转换包括一个或多个步骤，转换中的步骤是通过跳连接的。在Kettle中，数据的单位是行，数据流就是数据行从一个..
kettle案例——数据清洗与校验（去除缺失值）
weixin_56944252的博客
11-11 943
数据清洗与校验
kettle案例——数据清洗与校验（数据一致性处理）
weixin_56944252的博客
11-12 577
数据清洗与校验
Kettle通过Java脚本清洗数据的demo
03-29
这个是Kettle一个转换的脚本，可以通过这个demo结合java代码来进行数据清洗。
大数据 Excel 通过 Kettle 进行数据清洗
12-05
大数据Excel通过Kettle 穿插javascript进行数据清洗 在将数据导入Excel里
kettle循环调用清洗数据设计文档.docx
04-27
项目组需要从view视图中清洗出数据，但是数据量过亿，所以思路是先查询中view中用到了那些表，在通过这一张张表，去清洗数据，落地临时表。
从官方例子入手 （详解数据清洗）——kettle实战（5）
热门推荐
Amour
04-14 4万+
注：本篇文章参考《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》数据清洗步骤 利用Calculator计算器进行数据清洗工作相关的选项 Replace in string字符串替换步骤 Fuzzy match模糊匹配步骤 Kettle里的字符串匹配算法 Stream lookup流查询步骤使用参照表本书相关源码在可以从本书网站上下载（http://www.wiley.com
Kettle--转换，作业案例（数据清洗笔记）
qq_48955728的博客
09-15 594
转换： 双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择“文件”>>“新建”>>“转换”，创建一个转换，如图1。 图1 对转换进行重命名，选择“文件”>>“保存”，如图2。 图2 在Kettle主界面的空白工作区右击，选择“新建注释”命令，并添加注释的内容；然后单击“输入，将“表输出”拖曳到工作区；单击“输出”，将“文本文件输出”拖曳到工作区；将这两个步骤用跳链接，具体如图3所示。 图3 作业： 打...
Kettle大数据清洗实战之一：安装与初识
小海鲜的博客
09-22 554
一、Kettle安装 官网：http://forums.pentaho.com/，另外，由于Kettle是基于Java开发的，因此需要Java环境（jdk网址：http://www.oracle.com/technetwork/java/javase/downloads/index.htlm） 1、下载安装并配置jdk 1.下载，首先从官网下载jdk 2.配置环境变量，“我的电脑”-“高级”-“环境变量”-“path”，添加Java的bin路径并用分好隔开 3.配置classpath变量，在环境变量中新建c
kettle - 清洗 mongodb 数据案例
杨杨杨~~的博客
01-04 787
kettle - 清洗 mongodb 数据案例
数据清洗第三章（kettle工具的使用）转换和作业实例
m0_47951947的博客
09-26 942
一.转换实例 1、数据准备 在SQLyog中创建一个数据库，并在该数据库中导入两张数据表，即数据表personal_a和数据表personal_b。 导入过程如下图 数据表personal_a和personal_b如下图所示。 表personal_a 表personal_b 2、打开kettle工具，创建转换 创建转换LCT，并添加“表输入”控件、“JavaScript代码”控件、“插入/更新”控件以及跳连接线，如下图。 3、配置“表输入”控件 点击表输入控件，进入表输入界面..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值