Kettle 数据筛选（找出错误数据）思路

最新推荐文章于 2023-01-10 09:00:00 发布
最新推荐文章于 2023-01-10 09:00:00 发布
阅读量1.8k 收藏
点赞数
分类专栏： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq445622441/article/details/102813273
版权

1、原表
NNXJH66/nnzy/dbo/t_gps_info

2、
新建一张表
NNXJH66/tempdb/dbo/t_gps_info   
新建表
NNXJH66/tempdb/dbo/t_gps_info_int 

3、备份数据
NNXJH66/nnzy/dbo/t_gps_info----->NNXJH66/tempdb/dbo/t_gps_info

4、清洗数据
NNXJH66/tempdb/dbo/t_gps_info----->NNXJH66/tempdb/dbo/t_gps_info_int

（数量级大约7112500 七百万，错误数据21296 两万

Kettle Spoon 去定位数据还是很好用的，七百万大约0.5-1h就能全部搞定

注意：装Kettle 之前先装 JDK）

小红薯bilibili
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle实例-异常值处理-删除包含异常值的记录
fxxhmn的博客
10-11 1270
在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
kettle中过滤记录组件新数据旧数据的筛选
dinnre的博客
05-11 1526
identical：比较的所有字段相同 deleted： 旧字段数据（旧数据源表有，新数据源表没有） new： 新字段数据（旧数据源表没有，新数据源表有）
kettle 筛选数据 并根据关键字段去重 设计
杨杨杨~~的博客
01-10 1421
1)筛选test表 code=A 且delete_flag=0 和 code =B 且delete_flag=1 的数据 2)将筛选出来的数据存到本地excel_1 3)将筛选出来的数据根据id去重 4)将去重后的数据存到本地excel_2
大数据 Excel 通过 Kettle 进行数据清洗
12-05
大数据Excel通过Kettle 穿插javascript进行数据清洗 在将数据导入Excel里
在Kettle里使用参照表进行数据校验（流查询实现）
wzy0623的专栏
12-26 1万+
参照表一个常见的用途就是做数据的查询和检验。提供一个输入字段，如果输入字段里的值没有匹配上，就给对应的数据行做一个错误标志。下面使用城市和邮政编码查询做个例子，演示如何使用计算器步骤和查询步骤来判断地址和邮政编码是否匹配。完整的转换如下图：  首先，需要一些输入数据，本例使用了“自定义常量数据”步骤，并添加一些测试数据作为输入，如下图：  第一个清洗步骤就是从邮政编码里提取数字，要使用计算器步骤。
数据预处理作业(KETTLE)
01-18
Kettle提供了图形化的界面，用户可以通过拖拽的方式构建数据流，使得数据清洗、转换和加载的过程变得直观易懂。在大学课程设计中，Kettle常常被用作实践项目，帮助学生深入理解数据处理流程。 首先，我们需要了解...
kettle数据增量同步实现
10-08
kettle的使用手册，及个人实现的数据增量同步，亲测可行！
基于Java与Web技术的KettleWeb数据集成平台源码
最新发布
03-25
项目概述：KettleWeb数据集成平台是一款基于Java与Web技术的开源数据集成工具。此平台源码基于Kettle原生版本6.1.0.1开发，扩展了Web端操作功能，便于用户进行数据集成工作。 技术栈：项目主要采用Java语言进行开发...
kettle管理之元数据资料库
07-31
kettle管理之元数据资料库
KETTLE之根据多表表名进行批量同步
03-13
网上看了很多的kettle通过将表名设置成变量，然后进行多表批量同步的帖子，发现多多少少都会有问题。而此类功能简单的问题对于新手而言需要花很多的时间去琢磨，本人作为新手也琢磨很久，最后经大神们指点验证，将较为正确的模板给放出来。希望可以帮助大家，具体的思路如下，要下载的同学们请先看下是否符合自己的需求： 多表批量同步思路： 第一步：通过TXT等文件批量写入表名，输入结果集 第二步：从结果集中获取结果，转换为变量值 第三步：抽取变量值，使表输入可以调用，完成表输出的整个数据同步 此同步容易造成问题的点在于文本文件中参数的设置和传输。而且容易忽略掉有个控件：设置变量 ，容易卡在变量无法取值上而不了了之。百度经验贴很多都省略了此步骤。导致困难重重。如果此同步模板下载有问题的可以留言，我会竭尽全力解答下。当然，也仅限于此功能，毕竟我也菜。
使用Kettle进行数据迁移（ETL）
03-03
某日，技术经理让我找一个满足我们项目数据迁移需求的稳定、高效ETL工具。google了几把，网上大致有下列几款软件资料较多：Oracle的OWB（OracleWarehouseBuilder）、AICloudETL、Kettle等等。一一安装并尝试，最终...
Kettle学习（4）：Kettle取差集数据类似oracle的minus
lovePaul77的博客
05-25 1274
背景 工作中遇到的一个问题，场景是这样的，我们需要从A数据库通过一定的逻辑转换到B数据库，原来同事做的方式是使用了Kettle里面的一个控件，插入/更新这个控件，但是，程序上线一段时间后发现一个问题，A库的删除是物理删除，物理删除这个是万万没有想到的啊，你要是逻辑删除，那么每次我们在取数的sql里面加一个flg来判断就好了啊，只取是有效的就可以了，但是，这特么物理删除就直接懵比了，我们这个控件是不...
Kettle实例-缺失值处理-去除缺失值
fxxhmn的博客
10-11 2860
在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。
kettle表差集
qq_42984101的博客
11-22 678
kettle两表差集 由于增量同步后，发现源表和目标表总是差一部分数据，然后参考网上的资料，记录下此次处理问题的操作过程。 总体流程 记录集连接设置，此处要求的排序我是在表输入sql中排序的 过滤记录设置，设置自己需要数据，最后输出到文档中 最后过滤出来的数据： ...
Kettle工具实现CSV文件的抽取和JSON文件的数据抽取
不断进步的瓜瓜博客
10-13 668
使用kettle工具前需要做的准备： 因为本次实验是将CSV文件和JSON文件中的数据保存至数据库的数据表中，所以在此之前需要在数据库中建立一个数据库及两个数据表。 建立数据库、数据表过程如下： mysql -u root -p -- 回车后需要输入你的数据可以密码 /*进入MySQL后开始建库建表*/ mysql> create database extract; -- 新建一个名为extract的数据库 mysql> use extrac...
在kettle中实现数据验证和检查
热门推荐
neweastsun的专栏
09-17 1万+
利用kettle对输入数据进行验证检查，并处理跟踪错误数据。
Kettle中求两个记录集的差集
静以修身的专栏
07-14 5269
假定数据流1-数据流2（也就是两个流在compare key上相等的话，删除数据流1对应的行作为结果流），数据流1和数据流2 连接(选"集合记录集连接"控件)，选LEFT JOIN然后用一个Java过滤器滤掉匹配上的行,然后用"字段选择"工具选出数据流1中的字段。
kettle遍历抽取某目录下Excel文件数据
yanmingzi的专栏
01-07 3167
第一步：新建获取文件名转换 1、设置文件路径及匹配正则表达式 2、获取字段 3、拖入复制记录到结果 第二步：新建抽取数据转换 1、设置文件目录变量 2、设置工作表名称 3、获取设置字段 4、设置表输出对象及字段映射 第三步：创建执行作业 1、拖入start控件 2、拖入转换控件设置获取文件目录 3、使用 JavaScript 设置变量 //获取上一步的信息列表 var result_list=previous_result.getRow
Kettle数据挖掘工具快速入门与实战指南
"Kettle数据挖掘工具操作手册" Kettle，全称为Pentaho Data Integration，是一种强大的开源ETL（数据抽取、转换、加载）工具，主要用于处理和转换来自不同源的大量数据。Kettle的设计理念是提供一个直观的图形化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值