Kettle8.2查询组件之数据库查询

最新推荐文章于 2023-04-30 23:12:13 发布
最新推荐文章于 2023-04-30 23:12:13 发布
阅读量3k 收藏 13
点赞数 7
分类专栏： Kettle 文章标签： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sujiangming/article/details/115608710
版权

Kettle8.2查询组件之数据库查询

一、相关说明

  • 数据库查询组件说明：
    数据库查询就是数据库里面的左连接。
    左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。

  • 需求说明：
    从sys_user表中读取数据，根据dep_id从sys_dept表获取dep_name，保存到Excel中。

  • 源表sys_user和sys_dept建表语句及数据如下：
    sys_user表:

    CREATE TABLE `sys_user` (
  `user_id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '用户ID',
  `dept_id` bigint(20) DEFAULT NULL COMMENT '部门ID',
  `user_name` varchar(30) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT '用户账号',
  `nick_name` varchar(30) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT '用户昵称',
  `user_type` varchar(2) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '00' COMMENT '用户类型（00系统用户）',
  `email` varchar(50) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '用户邮箱',
  `phonenumber` varchar(11) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '手机号码',
  `sex` char(1) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '0' COMMENT '用户性别（0男 1女 2未知）',
  `avatar` varchar(100) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '头像地址',
  `password` varchar(100) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '密码',
  `status` char(1) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '0' COMMENT '帐号状态（0正常 1停用）',
  `del_flag` char(1) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '0' COMMENT '删除标志（0代表存在 2代表删除）',
  `login_ip` varchar(50) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '最后登录IP',
  `login_date` datetime DEFAULT NULL COMMENT '最后登录时间',
  `create_by` varchar(64) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '创建者',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  `update_by` varchar(64) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '更新者',
  `update_time` datetime DEFAULT NULL COMMENT '更新时间',
  `remark` varchar(500) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '备注',
  PRIMARY KEY (`user_id`)
) ENGINE=InnoDB AUTO_INCREMENT=104 DEFAULT CHARSET=utf8 COMMENT='用户信息表';
insert  into `sys_user`(`user_id`,`dept_id`,`user_name`,`nick_name`,`user_type`,`email`,`phonenumber`,`sex`,`avatar`,`password`,`status`,`del_flag`,`login_ip`,`login_date`,`create_by`,`create_time`,`update_by`,`update_time`,`remark`) values (1,1000,'admin','苏江明','00','jiangming.su@niit.com.cn','18275128970','1','','$2a$10$hGYly8AzJ16SwMdEoeXrJ.y7E4Fa8xGUJOQAASukgN3omvRimdMFS','0','0','127.0.0.1','2021-02-05 00:07:00','admin','2021-02-05 00:07:00','',NULL,'管理员'),(2,1009,'ry','若依','00','ry@qq.com','15666666666','1','','$2a$10$7JB720yubVSZvUI0rEqK/.VqGOZTH.ulu33dHOiBE8ByOhJIrdAu2','0','0','127.0.0.1','2021-02-05 00:07:00','admin','2021-02-05 00:07:00','',NULL,'测试员'),(3,100,'suben','若兰幽竹','00','18275128970@163.com','18275128970','0','','$2a$10$EEcxXsKxffLdiPixY9ZBUuj6wSCKI.5IvCRs9iq.PJU62hucOQivy','0','0','',NULL,'admin','2021-02-05 23:35:07','',NULL,'我是测试'),(100,1009,'sjm','测试','00','cs@163.com','18276125432','0','','$2a$10$Ere5immfiBQv0mw8vAQPhu1FH6cgSB2t5/6GWxvPlk3lnVG8AlkVq','0','0','',NULL,'admin','2021-02-09 01:12:14','',NULL,NULL),(101,1003,'subenjiang','若兰幽竹','00','18275128971@163.com','18275128971','0','','$2a$10$hGYly8AzJ16SwMdEoeXrJ.y7E4Fa8xGUJOQAASukgN3omvRimdMFS','0','0','',NULL,'admin','2021-02-09 02:03:45','Santy','2021-02-09 02:12:52',NULL),(102,1003,'Santy','GNU-Leader','00','','','0','','$2a$10$OK5I7lynBI/KyXANgDthGuoVIKcxvzyp7gR5c5uPEuJSWSg1Pcff2','0','0','',NULL,'admin','2021-02-09 02:09:09','',NULL,NULL),(103,1010,'test001','test','00','','','0','','$2a$10$szYG85pPvjAv2W/YyvjoeOoHNHlSZkTfq2CDdASvJKJF2.qGwLmWi','0','0','',NULL,'admin','2021-02-16 16:24:30','',NULL,NULL);

    数据自行添加，可以参考如下：
    在这里插入图片描述

    sys_dept表：

    CREATE TABLE `sys_dept` (
  `dept_id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '部门id',
  `parent_id` bigint(20) DEFAULT '0' COMMENT '父部门id',
  `ancestors` varchar(50) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '祖级列表',
  `dept_name` varchar(30) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '部门名称',
  `order_num` int(4) DEFAULT '0' COMMENT '显示顺序',
  `leader` varchar(20) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '负责人',
  `phone` varchar(11) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '联系电话',
  `email` varchar(50) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '邮箱',
  `status` char(1) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '0' COMMENT '部门状态（0正常 1停用）',
  `del_flag` char(1) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '0' COMMENT '删除标志（0代表存在 2代表删除）',
  `create_by` varchar(64) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '创建者',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  `update_by` varchar(64) CHARACTER SET utf8 COLLATE utf8_unicode_ci DEFAULT '' COMMENT '更新者',
  `update_time` datetime DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`dept_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1012 DEFAULT CHARSET=utf8 COMMENT='部门表';
INSERT  INTO `sys_dept`(`dept_id`,`parent_id`,`ancestors`,`dept_name`,`order_num`,`leader`,`phone`,`email`,`status`,`del_flag`,`create_by`,`create_time`,`update_by`,`update_time`) VALUES (100,0,'0','若依科技',0,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:06:59','',NULL),(101,100,'0,100','深圳总公司',1,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:06:59','',NULL),(102,100,'0,100','长沙分公司',2,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:06:59','',NULL),(103,101,'0,100,101','研发部门',1,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:06:59','',NULL),(104,101,'0,100,101','市场部门',2,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:06:59','',NULL),(105,101,'0,100,101','测试部门',3,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:07:00','',NULL),(106,101,'0,100,101','财务部门',4,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:07:00','',NULL),(107,101,'0,100,101','运维部门',5,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:07:00','',NULL),(108,102,'0,100,102','市场部门',1,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:07:00','',NULL),(109,102,'0,100,102','财务部门',2,'若依','15888888888','ry@qq.com','0','2','admin','2021-02-05 00:07:00','',NULL),(1000,0,'0','NIIT中国',0,'Kamal','18616522950','kamal.dhuper@niit.com.cn','0','0','admin','2021-02-06 00:30:19','Santy','2021-02-16 16:02:53'),(1001,1000,'0,1000','贵州中心',6,'Santy','15261525132','santosh.pal@niit.com.cn','0','0','admin','2021-02-06 00:32:08','Santy','2021-02-16 16:02:53'),(1002,1000,'0,1000','重庆中心',2,'路易斯','18272727272','1616162@niit.com.cn','0','0','admin','2021-02-06 00:33:09','',NULL),(1003,1001,'0,1000,1001','贵州师范大学',1,'Santy','15261525132','santosh.pal@niit.com.cn','0','0','admin','2021-02-06 00:33:56','Santy','2021-02-16 16:02:53'),(1004,1001,'0,1000,1001','贵州电子校',2,'Santy','15261525132','santosh.pal@niit.com.cn','0','0','admin','2021-02-06 00:34:28','',NULL),(1005,1001,'0,1000,1001','贵州职业技术学院',3,'Santy','15261525132','santosh.pal@niit.com.cn','0','0','admin','2021-02-06 00:35:01','',NULL),(1006,1000,'0,1000','青岛中心',3,'王剑','18272828282','18181818@163.com','0','0','admin','2021-02-08 05:00:20','',NULL),(1007,1000,'0,1000','宁夏中心',4,'张三','18276542435','1872622@niit.com.cn','0','0','admin','2021-02-08 05:01:21','',NULL),(1008,1000,'0,1000','海南中心',5,'刘德才','17282727283','71171717@niit.com.cn','0','0','admin','2021-02-08 05:02:16','',NULL),(1009,1000,'0,1000','上海总部',1,'James','18276544567','james.li@niit.com.cn','0','0','admin','2021-02-08 05:22:46','',NULL),(1010,1003,'0,1000,1001,1003','教学部',1,'suben','18275128977',NULL,'0','0','Santy','2021-02-16 16:02:34','Santy','2021-02-16 16:02:53'),(1011,1003,'0,1000,1001,1003','教务部',2,'Nancy','18275128966',NULL,'0','0','Santy','2021-02-16 16:03:16','',NULL);

    数据自行添加，如下所示
    在这里插入图片描述

二、设计转换

  • 输入：表输入
  • 查询： 数据库查询
  • 输出：Excel输出
    在这里插入图片描述

三、转换配置

  • Step1：表组件配置

    • 双击组件，写上步骤名称等
    • 相关配置如下所示：
      在这里插入图片描述在这里插入图片描述
      在这里插入图片描述

  • Step2：数据库查询组件配置

    • 双击打开，设置步骤名称
    • 配置信息，如下
      在这里插入图片描述
      在这里插入图片描述

  • Step3：Excel输出组件配置

    • 双击打开，设置步骤名称
    • 配置信息，如下
      在这里插入图片描述

  • Step4：保存转换
    上述配置好后，点击确定即可！

四、运行转换

  • 点击运行按钮，成功运行如下：
    在这里插入图片描述

五、结果分析

  • 在Excel中查看结果
    在这里插入图片描述

  • Preview data 中查看结果
    切换到“Preview data页面”

    • 点击“数据库查询”，看到有请求结果数据
      在这里插入图片描述

  • 结果简单分析
    数据库查询组件本质上就添加了SQL语句的条件语句部分的值，取出前一个表输入的结果集中的某个关键字段的值作为其本身所查询的数据表的条件。本案例等价于如下的SQL语句：

    SELECT u.`dept_id`,u.`user_name`,u.`nick_name`,d.`dept_name` FROM sys_user u LEFT JOIN sys_dept d ON u.`dept_id` = d.`dept_id`

    其实表输入组件就可以完成这样的功能。但是在一些场景下亦可以使用数据库查询来完成复杂的功能。

若兰幽竹
关注
专栏目录
《kettle中实现动态SQL查询》博客文章示例代码
09-15
通过示例学习kettle动态查询，可以使用问号占位符或命名参数，并详细说明两者的区别。
数据库查询——kettle开发20
最新发布
java程序员的蜕变之路
05-27 476
如图所示我们在进行数据库查询操作时，我们首先需建立数据库连接，输入表名和查询需要的关键字，最后就是我们需要输出的字段。类似 select * from departments left join member on departments.dep_id=member.id。数据库查询就是数据库里面的左连接，左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。从employees表中读取数据，根据dep。id从departments获取dep。name,保存到Excel中。
kettle数据库查询
春天的波菜
05-07 3077
表employees： 表departments： 操作：
kettle组件-查询
weixin_30510153的博客
12-07 265
1：数据库查询 　　数据库连接：所要连接的数据库　　模式名称：一般选取用户模式　　表名：所要查询的表名　　是否使用缓存：指定是否使用数据库缓存查询结果。　　缓存大小：指定缓存的大小。　　从表中加载所有数据：选中该项，缓存将不被利用。查询所需的关键字：　　表字段：表示所选中的表中的字段。　　比较操作符：对选中字段进行判断。　　字段1/2：流中的其他（表字段中可选的字段在...
kettle-查询控件
weixin_34209851的博客
05-10 497
1.HTTP client 查看一下网址 复制到新建的xml文件 把文件拉到网页上更清楚： 结果： 2.数据库查询 ...
Kettle8.2入门PPT.rar
06-12
"Kettle8.2入门PPT"是初学者了解和学习Kettle的好资料，它可能涵盖了以下内容： 1. **基础概念**：解释Kettle的核心概念，如转换、作业、步骤等。 2. **操作教程**：演示如何在Spoon中创建和运行转换和作业。 3. **...
kettle 8.2 网盘分享.txt
06-30
根据提供的文件信息，“kettle 8.2 网盘分享”这一主题涉及的是Kettle 8.2版本软件的网络分享。Kettle是一款开源的数据集成工具，它提供了强大的数据抽取、转换和加载（ETL）功能。接下来，我们将详细探讨Kettle 8.2...
pentaho-kettle-8.2.zip
08-13
通过这个8.2版本的压缩包，你可以获取到完整的Pentaho Kettle安装文件，包括所有必要的库和组件，按照博客中的教程，可以动手实践Pentaho Kettle的使用，加深对ETL过程的理解。对于学习和开发基于Pentaho Kettle的...
kettle 8.2零基础快速入门 61课
12-25
【Kettle 8.2零基础快速入门 61课】是针对数据集成工具Pentaho Data Integration（简称Kettle）的一个系统性学习教程。Kettle是一款强大的ETL（Extract, Transform, Load）工具，广泛应用于数据清洗、转换和加载过程...
kettle8.2开发手册
07-03
kettle8.2开发手册是关于kettle8.2版本的开发指南。Kettle，也被称为Pentaho Data Integration，是一款开源的ETL工具，用于数据的抽取、转换和加载。而Kettle8.2是其最新版本，这个开发手册提供了详细的指导，帮助...
《kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询 》代码
10-29
kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询
kettle，sql查询结果做条件循环的作业示例
10-17
说明： 一个作业，两个转换，第一个使用【查询分析】的组件接收sql查询结果的字段数据， 第二个转换根据上一个转换的结果为条件执行循环的业务步骤。 提示：请留意第二个转换的属性设置，需要添加命名参数以及勾选复制上一步结果和执行每一行两个选项！附件是打包示例文件，执行时请配置一下测试数据库。 2018/10/17
kettle开发篇-数据库查询-Day23
qq_29061315的博客
12-21 868
前言： 昨天我们讲了怎么通过HTTP client读取接口数据，然后通过将返回数据解析，然后再将结果输出至EXCEL中，这种方式，让我们很方便的获取到接口的数据。今天我们来讲下和数据库相关的查询操作，数据库查询，其实就是数据库里面的左连接。 一、数据库查询 数据库查询就是数据库里面的左连接，左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。 如图所示我们在进行数据库查询操作时，我...
kettle查询
04-20 142
》流查询： 1、转换设计 2、主数据 3、查询数据 4、流查询 5、数据预览 查询中有重复数据默认获取最后一条：查询数据中有重复数据，默认获取到了最后一条数据。 主数据中无匹配数据则在结果集中返回null值。 》数据库查询： 主数据-数据库数据： 定义数据库查询： 勾选查询失败则忽略： 勾选多...
Kettle8.2查询组件之数据库连接
若兰幽竹
04-12 1865
Kettle8.2查询组件之数据库连接一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 数据库查询组件说明： 数据库连接可以执行两个数据库的查询，和单参数的表输入。 需求说明： 从A数据库中的sys_dept表中读取数据，根据dep_id从B数据库中sys_user表获取dep_name，保存到Excel中。 源表sys_user和sys_dept建表语句及数据参考如下博文： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入 查询： 数据库连
kettle-数据库查询(左连接)
weixin_41668007的博客
07-04 1431
表输入控件设置，输入employees表 数据库查询控件设置如下 结果 查询前 查询后
ETL工具 - Kettle 查询、连接、统计、脚本算子介绍
小毕超博客
04-30 2095
连接算子一般将多个数据集通过关键字进行连接，类似 `SQL` 中的连接操作,统计算子可以提供数据的采样和统计功能,脚本算子可以通过程序代码完成一些复杂的操作
kettle查询-数据库连接
qq_39735532的博客
06-06 4122
相同或不同数据库的关联mysql 的 dept 与oracle emp的表结构(dept.id与 emp.id进行关联)主要流程：具体实现：1、表输入dept2、orcal表输入注释：1：Parameter参数字段取的是第一个表输入的字段。2： 如果勾选了“Outer join” 默认是进行了左连接，类似以sql的SELECT d.* ,e.* FROM dept d LEFT JOIN emp ...
Kettle8.2查询组件之流查询
若兰幽竹
04-12 4270
Kettle8.2查询组件之流查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 数据库查询组件说明： 流查询在查询前把数据都加载到内存中，并且只能进行等值查询。 需求说明： 从A数据库中的sys_dept表中读取数据，在从从B数据库中sys_user表查询数据，然后根据dep_id获取dep_name，保存到Excel中。 源表sys_user和sys_dept建表语句及数据参考如下博文： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入（两个步骤）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

若兰幽竹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值