【ETL实战】Kettle学习实践之基本数据转换和过滤

码农服务社

已于 2023-06-30 18:23:56 修改

阅读量1k

点赞数 1

分类专栏：数据仓库文章标签： etl 数据仓库

于 2023-05-24 16:57:10 首次发布

本文链接：https://blog.csdn.net/wenchun001/article/details/130850674

版权

数据仓库专栏收录该内容

27 篇文章 6 订阅

订阅专栏

案例一，过滤重复记录

整理步骤

添加一列 add a checknum 字段

案例二：过来空值记录和修改字段，替换

过滤判断空值记录

过滤记录

过滤，修改字段，字符串拼接，排序，去重记录

Kettle使用问题

web版本汉化

需要编辑/usr/local/tomcat/bin/setenv.sh文件，在文件末尾追加这两项配置保存

CATALINA_OPTS="-Dorg.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true"
JAVA_OPTS="-Duser.language=zh -Duser.region=CN -Dfile.encoding=UTF-8"

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

码农服务社

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

可视化ETL工具Kettle概念、安装及实战案例

https://hibernation0814.github.io/

07-14

1904

功能 : 实现数据的预处理，数据清洗过程，将原始数据经过ETL处理变成想要的数据，进行下一步的应用实现抽取∶读取需要处理的原始数据。转换︰将原始数据转换为目标数据加载︰将处理好的目标数据放入数据仓库中............

Kettle(数据过滤)

写的不好之处,请指教

04-29

7369

Kettle(过滤) 原始数据操作结果数据

参与评论您还未登录，请先登录后发表或查看评论

实验五kettle：字符串操作（去空，值替换，补位）

weixin_44727274的博客

01-25

2万+

【实验目的】 1.利用Kettle的“过滤记录”，“字符串替换”，“字符串操作”组件，实现记录的过滤，字符串替换及字符串的去空格功能。 2.熟练掌握“过滤记录”，“字符串替换”，“字符串操作”等组件的使用，实现记录的过滤，字符串替换及字符串的去空格功能。【实验原理】通过“过滤记录”对单元格为空的记录进行过滤，然后通过“字符串替换”指定替换单元格中某些特定内容，再通过“字符串操作”实现字符串的去空格功能。【实验环境】操作系统：Windows10 Kettle版本：7.1.0.0 jdk版本：1.8.

kettle 数据过滤,验证

10-30

个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证

kettle —— 数据过滤和值映射

热门推荐

风火一回，一生不毁

01-20

3万+

Kettle学习二：过虑数据表记录，当过滤成功后进行值映射并输出到文本文件值映射：改变指定字段的值为特定的值。 1.建立如下图示：表输入依旧使用test连接的test1表。 2.设置过滤条件，为true时执行值映射，false时执行空操作 3.设置值映射，改变性别字段的值，将1改为“男”，0改为“女” 4.设置文本文件的输出目录（G:\ETTL\fi

kettle案例14-过滤记录

勇气与行动

11-01

5073

参考《ETL数据整合与处理》--任务3.4 任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的图标，预览过滤记录后的数据： ...

Kettle8.2流程组件之过滤记录

若兰幽竹

04-18

5832

Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明过滤记录组件说明：过滤记录让数据流从一路到两路。需求说明：从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询二、设计转换输入：表输入流程：过滤记录输出：Excel输出、Microsoft Excel输出三、

ETL利器Kettle实战应用--Kettle使用介绍

02-26

即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好...

ETL数据整合与处理（Kettle）教案.rar

07-05

Kettle提供了丰富的数据转换步骤，如读取、写入、过滤、转换等，用户可以通过拖拽和配置完成复杂的ETL流程。三、Kettle数据抽取数据抽取是ETL的起点，Kettle支持从各种来源抽取数据，包括关系型数据库、文件、Web...

2024年大数据ETL开发之图解Kettle工具（入门到精通），图文详解

最新发布

2401_84182906的博客

05-05

1139

在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。

Kettle使用步骤带案例超详细版_市面最详细版

10-21

文档包含kettle介绍，kettle组件说明以及kettle的使用步骤，超详细，是目前市面上最详细的kettle使用详解，文档中包含两个具体的案例，手把手叫你使用Kettle

kettle中过滤记录组件新数据旧数据的筛选

dinnre的博客

05-11

1578

identical：比较的所有字段相同 deleted：旧字段数据（旧数据源表有，新数据源表没有） new：新字段数据（旧数据源表没有，新数据源表有）

SpringBoot集成Kettle添加过滤记录

L990616_ss的博客

11-30

3383

过滤记录可用于做增量添加，假设id是自增的，从源表中获取数据插入目标表，如果数据量过大，全表更新导致速度十分慢。这时候可以从源表查询数据，过滤掉id小于目标表最大id的数据，这样可以实现基于id的增量添加。数据量过大可能导致最开始查询时速度过慢，业务中是把Kettle做成了WEB项目，通过前端来输入查询语句，一般会输入SELECT * FROM tableName，有可能加上WHERE来筛选一下。最好是在原语句中加入比较id大小的条件从而减少查询数据。但是： ...

kettle从入门到精通第十课 kettle switch/case、过滤记录、数值范围

zhangjin1222的博客

01-27

1488

下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。

Kettle过滤记录

01-27

1万+

转自：http://blog.csdn.net/mafan121/article/details/42920411

kettle 之过滤记录

stone_tomcate的博客

12-31

3695

选择要过滤的字段指定true false 步骤输出即可

kettle过滤、生成随机数、改变开始复制数量

ajsyipsc40270的博客

09-10

756

下面是一个用Kettle实现数据过滤、生成随机数、改变开始复制数量的连贯示意图。首先，我们将控件一一建立，通过hop建立连接下面对每一个控件进行设置 1.生成随机数控件（随机取一个数字与字符串） 2.过滤控件 3.文本文件输出 4.改变开始复制的数量这个功能实际的含义是：设置多少份的拷贝，开多少线程例如：开20个线程，拷贝20份，那么单击控件...

Kettle大数据清洗实战之二：字段选择、连接表、过滤表

小海鲜的博客

09-23

5751

一、随机数的字段选择步骤： 1.运行kettle，单击‘文件’，选择“新建”-“转换”选项，在“输入”的界面上选择“生成随机数”，在“转换”的界面上找到“增加常量”和“计算器”，将它们拖拽到右侧的工作区域中，并建立节点连接，流程如图所示 2.双击“生成随机数”，在打开的对话框中设置“名称”为 x，“类型”为“随机数字”，如下图 3.单击“确定”，在工作区域右击“生成随机数”图标，在弹出的快捷菜单上选择“改变开始复制的数量”，并修改数字为30，如下图 4.双击“增加常量”图标，在弹出的对话框中设置“