kettle入门系列文章(七-查询)

最新推荐文章于 2024-05-27 16:55:15 发布
最新推荐文章于 2024-05-27 16:55:15 发布
阅读量415 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833146/article/details/108937578
版权

kettle入门系列文章(七)

自己学习kettle的笔记过程及注意过程

文章目录

一、查询是什么？

在这里插入图片描述

查询是用来查询数据源里的数据并合并到主数据流中。

二、使用控件

1.HTTP client

HTTP client是使用GET的方式提交请求，获取返回的页面内容。

在这里插入图片描述

  1. 在自定义常量数据中定义url
    在这里插入图片描述
    在这里插入图片描述
    2.HTTP client 中获取XML内容

在这里插入图片描述
3.Get data from XML中解析

2.数据库查询

数据库查询就是数据库里面的左连接。左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20201006160152690.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0ODMzMTQ2,size_16,color_FFFFFF,t_70#pic_center
有可能会乱码,参考Kettle 7.1 （转换步骤）中文乱码解决

3.数据库连接

数据库连接可以执行两个数据库的查询，和单参数的表输入。

在这里插入图片描述

4.流查询

流查询在查询前把数据都加载到内存中，并且只能进行等值查询。
在这里插入图片描述

总结

空气城堡
关注
专栏目录
与远哥的CSDN粉丝们互动，设计一个基于KETTLE的数据分析系统
远
04-18 1444
喜报：截至2022年4月16日中午12时，博主的CSDN粉丝数量已经达到并突破了1500，正向着1600大关大踏步迈进❀❀❀。 为了对支持我的粉丝朋友们表示感谢，博主决定花时间给各位整个活，设计一个基于KETTEL的数据分析系统 文章目录数据集分析 数据集分析 数据集使用博主从CSDN后台爬取的博主的粉丝和文章等部分信息「截至2022年4月12日中午12时」。 由于代码部分涉及cookie等隐私内容，故不在此公布，此处仅分享脱敏后的现成数据。 表一：粉丝详情表 数据项及含义 | 数据项 | 含义 | 可能
梅科尔工作室——Django+HarmonyOS 使用ROM方法查询最新数据
Sunshine_QS的博客
07-27 419
Django+HarmonyOS
Django的性能优化
weixin_30391339的博客
09-26 166
一，利用标准数据库优化技术 传统数据库优化技术博大精深，不同的数据库有不同的优化技巧，但重心还是有规则的。在这里算是题外话，挑两点通用的说说：　　索引，给关键的字段添加索引，性能能更上一层楼，如给表的关联字段，搜索频率高的字段加上索引等。Django建立实体的时候，支持给字段添加索引，具体参考Django.db.models.Field.db_index。按照经验，Django建立实体之前应该早...
Kettle基本使用（五） —— 流程 & 查询 的使用
qq_52421831的博客
10-25 4896
Kettle基本使用之流程 & 查询 的使用
kettle的多源数据库联合查询
书山有路情为径
11-15 3016
最近做了一个关于ETL的需求，大致意思是：从A数据库中查询出的结果，作为B数据库的查询语句条件，最后将B数据库查询的结果放入C数据库，Kettle实现过程如下： 先展示完成后的流程，如图： 新建转换后，核心对象--》输入--》表输入，配置如下： 然后进行第二个数据源的查询配置，核心对象--》查询--》数据库连接 参数部分可以直接点击“获取字段”,即可获取到第一个数据...
数据库查询——kettle开发20
最新发布
java程序员的蜕变之路
05-27 468
如图所示我们在进行数据库查询操作时，我们首先需建立数据库连接，输入表名和查询需要的关键字，最后就是我们需要输出的字段。类似 select * from departments left join member on departments.dep_id=member.id。数据库查询就是数据库里面的左连接，左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。从employees表中读取数据，根据dep。id从departments获取dep。name,保存到Excel中。
Kettle入门概述：围绕ETL主要过程，提供一份完整的数仓开发路线图
m0_69586799的博客
10-28 1576
Kettle入门概述：围绕ETL主要过程，提供一份完整的数仓开发路线图
kettle连接不上es7_kettle常见问题解决
weixin_39528000的博客
12-30 1209
摘要：本文主要讨论如何在你自己的Java应用程序中集成Kettle如果你需要在自己的Java应用程序中集成Kettle , 一般来说有两种应用需求，一种是通过纯设计器来设计ETL转换任务，然后保存成某种格式，比如xml或者在数据库中都可以，然后自己调用程序解析这个格式，执行这种转换，是比较抽象的一种执行方式，ETL里面转换了什么东西我们并不关心，只关心它有没有正常执行。另一种是通过完全编程的方式来...
java etl工具_一文带你入门ETL工具-datax的简单使用
weixin_29634081的博客
02-12 1008
什么是ETL？ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列...
Kettle安装教程：从JDK到环境配置与数据库连接
本篇文章是关于Kettle开发工具的安装教程，主要...总结起来，本文详细指导了从下载JDK到配置环境变量，再到安装和使用Kettle的一系列步骤，以及必要的数据库驱动添加和连接配置，为Kettle初学者提供了实用的入门指南。
（3）Kettle-----关联字典表的三种方法
03-11
（3Kettle）-----关联字典表的三种方法
查看django执行的sql语句及消耗时间的两种方法
12-24
下面介绍两种查看django 执行的sql语句的方法。 方法一： queryset = Apple.objects.all() print queryset.query SELECT `id`, `name` FROM `apple` 该方法只能查看select语句，但不能查看其他更新保存的语句，会报错。 也就是说只有 Queryset 有query方法。接下来看第二种方法。 方法二： from django.db import connection print connection.queries [{u'time': u'0.098', u'sql': u'SELECT `app_d
如何查看Django ORM执行的SQL语句的实现
09-17
主要介绍了如何查看Django ORM执行的SQL语句的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Kettle07：Kettle查询控件
qq_28286027的博客
05-12 338
本章讲解Kettle如下四个查询控件的使用案例： 01 HTTP client 02 数据库查询 03 数据库连接 04 流查询 查询 查询是转换里面的第七个分类。 查询是用来查询数据源里的数据并合并到主数据流中。 1.HTTP client HTTP client是使用GET的方式提交请求，获取返回的页面内容。 自定义常量数据 自定义常量数据是用来生成一些不变的数据。 案例： 从网络上获取xml，解析出ProductID、ProductName、SupplierID、CategoryID，保.
Kettle8.2查询组件之流查询
若兰幽竹
04-12 4252
Kettle8.2查询组件之流查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 数据库查询组件说明： 流查询在查询前把数据都加载到内存中，并且只能进行等值查询。 需求说明： 从A数据库中的sys_dept表中读取数据，在从从B数据库中sys_user表查询数据，然后根据dep_id获取dep_name，保存到Excel中。 源表sys_user和sys_dept建表语句及数据参考如下博文： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入（两个步骤）
Kettle查询与连接（七）
BushRo
05-07 1760
查询 流查询 字典数据完全加载到内存后，在内存中查询，速度快，占内存。 只支持“等于”的查询。 (不支持大于，小于等方式) 如果匹配上多条，只保留最后一条。 如果没有匹配上，新增的字段值为NULL。 如果字典key和要查询的value都是integer,可以选中Key and value are exactly one integer field,节省内存。 Use sorted list:当比...
kettle组件HTTP Post，HTTP Client和REST Client的区别及使用方法
热门推荐
sharehoo的博客
01-02 1万+
最近项目要调用第三方接口来获取json数据，并解析数据入库。这里用到了kettle作为数据抽取工具。Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post，REST client。 这里顺便讲一下这三个组件的区别之处，省的下次绕迷糊。 1.HTTP Post组件 ”post“顾名思义应该就是http请求方式为post，这里查看源码也得到证实，是引入的o...
​为什么我建议你使用django-extensions
大江狗
12-15 1129
django-extensions给django开发者提供了许多便捷的扩展工具(extensions)，在github上高达5000颗星。小编我今天就介绍它包含哪些奥利给的有用扩展以及它...
kettle（一）从数据库提取数据
qq_35674954的博客
06-15 1287
kettle的四个组成 spoon 图像化界面 pan 调用Trans kitchen 调用Job carte 一个web容器，建立专用 远程的ETL Server 安装完成后首先连接资源库 明天再写 从数据库提取数据 新建“转换” 双击表输入，建立与数据库的连接 链接成功 从数据中查询表 成功 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值