【ETL实战】Kettle学习实践之基本数据转换和过滤

码农服务社

已于 2023-06-30 18:23:56 修改

阅读量662

点赞数 1

分类专栏：数据仓库文章标签： etl 数据仓库

于 2023-05-24 16:57:10 首次发布

本文链接：https://blog.csdn.net/wenchun001/article/details/130850674

版权

数据仓库专栏收录该内容

26 篇文章 5 订阅

订阅专栏

案例一，过滤重复记录

整理步骤

添加一列 add a checknum 字段

案例二：过来空值记录和修改字段，替换

过滤判断空值记录

过滤记录

过滤，修改字段，字符串拼接，排序，去重记录

Kettle使用问题

web版本汉化

需要编辑/usr/local/tomcat/bin/setenv.sh文件，在文件末尾追加这两项配置保存

CATALINA_OPTS="-Dorg.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true"
JAVA_OPTS="-Duser.language=zh -Duser.region=CN -Dfile.encoding=UTF-8"

关注博主即可阅读全文

优惠劵

码农服务社

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【ETL实战】Kettle学习实践之基本数据转换和过滤

Kettle学习实践之基本数据转换和过滤
复制链接

扫一扫

专栏目录

ETL之PDI/Kettle9.x/8.x案例培训实战从入门到应用案例

01-06

学完本课程，您将掌握：PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群：需要数据清洗和操作的IT信息化相关人员，IT相关从业人员，大数据工程师，数据库工程师及DBA，数据仓库ETL学习计划：利用碎片化的时间学习即可，每天学习一小时或3个课时即可达到效果；时间充足者，自由安排课程目标：促使教育公平，打破教育壁垒，让ETL更加的大众化使用课程简介：【可视化介绍】 Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。【软件版本】企业用的最多的Kettle9.x/8.x/7.x，本教程以最新Kettle 9.x进行教学【授课方式】番茄教学法：以知识点为基准，进行独立课时讲解，课时之间低耦合，方便同学利用碎片化时间学习

Kettle(数据过滤)

写的不好之处,请指教

04-29

7143

Kettle(过滤) 原始数据操作结果数据

参与评论您还未登录，请先登录后发表或查看评论

Kettle实例-缺失值处理-去除缺失值

fxxhmn的博客

10-11

2630

在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。

Kettle使用_31 CSV文件输入跳过前几（首）行之过滤记录

数据科学汇集

07-28

1845

Kettle使用_31 CSV输入结合过滤记录需求：对csv文件输入不在第一行的情况进行数据装载，这里假定数据在第6行。解决方法：通过CSV文件输入结合过滤记录组件，即在CSV文件输入里指定行号，在过滤记录里通过条件刷选记录并输出到文件或者数据库内。 #Ⅱ 步骤-Step by Step -- 1 准备给csv文件,内容见下,列分隔符是制表符即"\t"(可以是任意单字符分隔符),行分隔符是换行("LF")。 12 36 78 17 91 16 24 83 50 14 ...

kettle实例-异常值处理-删除包含异常值的记录

fxxhmn的博客

10-11

1168

在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。

Kettle安装与使用

jnrjian的博客

05-04

8913

Pentaho Data Integration作为一个端对端的数据集成平台，可以对多种数据源进行抽取(Extraction)、加载（Loading）、数据落湖（Data Lake Injection）、对数据进行各种清洗（Cleasing）、转换（Transformation）、混合（Blending），并支持多维联机分析处理（OLAP）和数据挖掘（Data mining）。勺子（spoon.bat/spoon.sh）：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。

kettle案例14-过滤记录

勇气与行动

11-01

4627

参考《ETL数据整合与处理》--任务3.4 任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的图标，预览过滤记录后的数据： ...

Kettle8.2流程组件之过滤记录

若兰幽竹

04-18

4704

Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明过滤记录组件说明：过滤记录让数据流从一路到两路。需求说明：从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询二、设计转换输入：表输入流程：过滤记录输出：Excel输出、Microsoft Excel输出三、

kettle 筛选数据并根据关键字段去重设计

杨杨杨~~的博客

01-10

1309

1)筛选test表 code=A 且delete_flag=0 和 code =B 且delete_flag=1 的数据 2)将筛选出来的数据存到本地excel_1 3)将筛选出来的数据根据id去重 4)将去重后的数据存到本地excel_2

kettle从入门到精通第十课 kettle switch/case、过滤记录、数值范围

zhangjin1222的博客

01-27

457

下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。

ETL之kettle基础-PPT讲解

08-21

内容概要：ETL之kettle包含26张PPT，kettle安装、使用、如何连接等，使用PDI9.2演示、什么是ETL、什么是Kettle、kettle安装、kettle目录结构、转换和作业、kettle操作、数据库连接、注意事项。适合人群：具备一定...

ETL利器Kettle实战应用--应用场景和实战DEMO下载

02-26

这里简单概括一下几种具体的应用场景，按网络环境划分主要包括：表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交互、...

ETL利器Kettle实战应用--Kettle使用介绍

02-26

在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们...

VitePress 构建的博客如何部署到 Netlify 平台？

guoqkmiss的博客

04-30

577

VitePress 构建的博客如何部署到 Netlify 平台

Postgresql 从小白到高手十一：数据迁移ETL方案

最新发布

simensk的博客

04-30

当建立好外部数据包装器和外部表时，我们就可以在pg上查询外部表数据了，这个时候我们用存过将外部数据表的数据批处理转换为我们内部表所需数据，校正格式。任何数据在处理前，一定考虑好备份方案。存过参考我们前面的第七、八、九章内容。使用Sschme Diff 工具。FDW (外部数据包装器)pgAdmin 表同步。

浅谈数据库、数据仓库、数据湖

qq_31943653的博客

04-26

1138

数据库、数据仓库、数据湖的简述和区别

数据仓库和数据仓库分层

qq_59961910的博客

04-29

558

2、数据结构清晰化，将数据分层后，每一层数据都会有作用域，方便我们对数据进行定位，当数据出现问题时，不用从头对数据进行修复，我可以根据数据表的特性找到具体的数据层，然后对数据进行修复；3、数据复用化，每一次进行数据计算，大可不用从原始数据重新跑一遍，可以找所需数据的数据层，然后从那一层进行计算，提高数据的复用性；

数据仓库 vs 数据湖 vs 湖仓一体：如何基于自身数据策略，选择最合适的数据管理方案？

Tapdata 技术博客

04-30

564

一文读懂数据仓库、数据湖、湖仓一体的区别，找准更适合的数据策略。结合大型视频流平台、电商、医疗等行业场景深入剖析。

数据仓库Data Warehouse

The Fifth Leaf 的博客

04-30

689

数据抽取确定数据源，需要确定从哪些源系统进行数据抽取定义数据接口，对每个源文件及系统的每个字段进行详细说明确定数据抽取的方法：是主动抽取还是由源系统推送？是增量抽取还是全量抽取？是按照每日抽取还是按照每月抽取？数据清洗主要将不完整数据、错误数据、重复数据进行处理数据转换空值处理：可捕获字段空值，进行加载或替换为其他含义数据，或数据分流问题库数据标准：统一元数据、统一标准字段、统一字段类型定义数据拆分：依据业务需求做数据拆分，如身份证号，拆分区划、出生日期、性别等。

有哪些类似kettle的开源ETL数据转换工具？

06-09

除了Kettle（Pentaho Data Integration）之外，还有一些类似的开源ETL数据转换工具： 1. Talend Open Studio：Talend Open Studio是一个开源的ETL工具，它提供了一组强大的数据集成和数据管理功能，可以用于数据...

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交