kette介绍-Step之Merge Join

已于 2024-04-03 11:42:25 修改
阅读量649 收藏 9
点赞数 5
分类专栏： kettle etl 文章标签： kettle实现SQL关联查询 INNER JOIN LEFT JOIN Merge join
于 2024-04-03 11:41:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43398232/article/details/137335574
版权
kettle 同时被 2 个专栏收录
26 篇文章 1 订阅
订阅专栏
etl
18 篇文章 0 订阅
订阅专栏

Merge Join介绍

需要配合Sort rows使用,对关联字段进行排序
关联两个step数据，可以是两个不同的数据库表数据，也可以是一张表，一个文件，输出字段为两张表所有字段
注意将小数据集作为first step
在这里插入图片描述

Join Type有四个选项

在这里插入图片描述

  • INNER对应SQL关联查询中inner join
  • LEFT OUTER对应SQL关联查询中left join
  • RIGHT OUTER对应SQL关联查询中right join
  • FULL OUTER对应SQL关联查询中full join

Inner

在这里插入图片描述

Join Type组件Join Type选择INNER
在这里插入图片描述
数据库SQL关联INNER JOIN查询结果
在这里插入图片描述

kettle过程预览结果
在这里插入图片描述

LEFT OUTER

在这里插入图片描述

Join Type组件Join Type选择LEFT OUTER
在这里插入图片描述
数据库SQL关联LEFT JOIN查询结果
在这里插入图片描述
kettle过程预览结果
在这里插入图片描述

RIGHT OUTER

在这里插入图片描述

Join Type组件Join Type选择RIGHT OUTER
在这里插入图片描述

数据库SQL关联RIGHT JOIN查询结果
在这里插入图片描述

kettle过程预览结果
在这里插入图片描述

FULL OUTER

在这里插入图片描述

Join Type组件Join Type选择FULL OUTER
在这里插入图片描述
数据库SQL关联FULL JOIN查询结果(这里作者用的mysql,用到union all实现了full join)
在这里插入图片描述

kettle过程预览结果
在这里插入图片描述
kettle实现SQL关联查询
如内容有错欢迎大家指正！！！
读后有疑问请加QQ群，来聊一聊开源kettle+pentaho report designer那些事！作者个人qq:420773639
在这里插入图片描述

Dragon online
关注
专栏目录
kettle spoon join连接
你渴望力量吗？
12-06 472
kettle spoon merge join 连接 弹出的警告内容大意为输入的数据必须根据 key field 字段进行排序，否则最终结果可能会出现丢失 d.Microsoft Excel output 内容 点击 get fields 获取输出字段 注：能够得出最终结果的原因是采用的两个 Table input 中的内容都是按照 merge join 中的 key field 字段进行排序的，座椅最终结果并没有缺失 其余内容保持不变关闭打开的保存的最终结果的excel，继续运行转
Kettle 合并记录和Merge Join组件实现数据增量迁移（数据同步比插入更新快
写博客只为学习
09-24 709
[size=large][color=red]该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。[/color][/size] 需要设置的参数： 旧数据来源：旧数据来源的步骤 新数据来源。新数据来源的步骤 标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。 [c...
Spoon Kettle 合并排序详解（Merge join）
鱼丸丶粗面
08-31 3515
Spoon Kettle 连接之记录集连接详解（Merge join）
kettle记录集(Merge Join)使用
weixin_34019144的博客
09-06 909
果两个表需要进行连接查询筛选出数据，那么可以使用记录集组件。（Merge Join）。 使用之前要进行排序： 使用记录集之前，要对输入的两张表进行排序，如果不排序，会导致两张表连接的时候出现问题，关联的数据变少。并且排序的顺序必须一致，比如 A表的a字段和B表的b字段 是连接条件，那么这俩要排序，而且规则要一样 排序有2种方式： 1 直接在表中用order...
Kettle自定义Step插件源代码
09-03
插件功能：用户输入需要替换的字符和替换后的字符以及需要替换的列号，插件进行自动替换。原文地址:https://blog.csdn.net/xhy1999/article/details/108375836
ttle-web：基于spring boot通过java代码调用kette
02-05
读我 通过Java API调用水壶核心代码，并基于Spring Boot提供简易的Web管理界面。 特色 Java API调用水壶核心代码 任务并行执行 网络管理任务 展示 界面用Bootstrap3和jQuery简单撸了下。 ...查看任务执行情况 ...
kettle进阶之database join
qq_30051265的博客
10-25 4527
前言 这并不是一篇入门教学，且不是一篇高阶教学，仅仅针对kettle的database join。 那么问题来了，kettle的database join是什么？简而言之，不同库之间sql语句传值（个人自定义，如有不当，请海涵）。 案例1——一条数据传值 数据库A中有一张学生表student，表中有一个字段最近更新时间(last_update_date)，数据库B中有一张教师表teacher，同样...
[In3Br3{C(SiMe3)3}3][Li(THF)3] mit einer Kette aus drei Indiumatomen - ein bemerkenswertes Nebenprodukt aus der Synthese des Tetraindiumclusters In4[C(SiMe3)3]4
06-29
[In Br {C(SiMe ) } ][Li(THF) ] mit einer Kette aus drei Indiumatomen ein 3 3 3 3 3 3 bemerkenswertes Nebenprodukt aus der Synthese des Tetraindiumclusters In [C(SiMe ) ] 4 3 3 4 Werner Uhl*, Fritjof ...
kettle实现SQL关联查询
最新发布
04-03
kettle介绍-Step之Merge Join实现SQL关联查询，可实现INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN
pentaho专题系列之kettle篇--kettle源码编译
atan0632的博客
08-15 623
最近看了一些kettle的文章，都是kettle7.0以前的，已经跟不上时代了。截止笔者写这篇文章的时候，github上面的已经是7.1.0.3了，而且是发行版的，最新的快照版本已经是8.0的了。基于此，有必要写一篇关于7.1之后的版本的kettle说明了。 特别说明，我用的项目的构建工具是maven，而不是ant了，如果想用ant的童鞋可以用一下maven的插件mav...
kettle （ 第五章 多路数据合并）
qq_56905137的博客
12-08 2983
多路数据合并
kettle 用JIDN连接多数据库JOIN到同一张表
qq_52360873的博客
08-03 1154
一、需求背景：现有两个数据库 ORA 和 ORA2 ；ORA数据库有EMP表，ORA2数据库有DEPT、EMP_DEPT表；需要将EMP和DEPT联结JOIN到EMP_DEPT表中 （如果是在同一个数据库中，只需要写一个join的sql语句即可） 二、表结构如下 ORA 的EMP表 ORA2 的DEPT表 ORA2 的EMP_DEPT表 （需要提前按需建表） 三、JIDN连接方式前的文件配置 这里用到JIDN的方式连接数据库，前提是要配置好 文件（在文件里面插入要用...
kettle连接操作 inner join 、、、left join
MVP_JiangJiang的博客
09-13 1587
如果要达到left连接效果则
Kettle学习之记录集连接
qq_40096858的博客
03-20 4148
Kattle学习之记录集 在kattle的表输入中，作数据的抽取往往会用到JOIN条件，即LEFT JOIN ,RIGHT JOIN等。在kattle中，记录集组件可以当作JOIN条件使用，特别是当两张表不在同一个数据库中，记录集组件能够使表拼接起来。 ...
kettle从入门到精通 第四十三课 kettle 多对1表合并同步
zhangjin1222的博客
02-20 1206
2、下图通过sql 语句的join 进行关联，表输入【读取student&teacher】步骤读取join之后的数据集，表输出【写入student_third】步骤将数据写入表student_third。a、表输入【读取student】步骤读取student数据，然后通过排序步骤【student排序】升序排序，当然这里的排序步骤也可以省略通过表输入中的sql的order by 方式实现。d、表输出【写入student_third】步骤将数据写入表student_third。
6.1Kettle数据转换——多数据源的合并
qq_58016320的博客
11-28 686
配置表输入:id，salesArea,brand,model,unitPrice,number,输入SQL语句SELECT * FROM copany_b。2.配置csv文件输入，获取字段:id，salesArea,brand,model,unitPric。配置字段选择:id，salesArea,brand,model,unitPrice,number。工具，创建转换company_merge，添加如下控件及Hop跳连接线。配置选择/改名值控件，将valuename改名为id。6.3数据粒度的转换。
Kettle基本使用（六） —— 连接 & 统计 & 映射 的使用
qq_52421831的博客
10-26 5608
Kettle基本使用之 连接 & 统计 & 映射 的使用
Kettle3.0用户手册-运行步骤副本与数据库操作
"运行步骤的多个副本-软件工程第4版习题辅导，Kette3.0用户手册" 在软件工程中，特别是在数据处理和ETL（Extract, Transform, Load）过程中，有时需要运行同一个步骤多次以提高效率。这在处理大数据量时尤为常见，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值