kettle维度查询更新组件建立拉链表

于 2023-05-17 18:46:04 发布
阅读量308 收藏
点赞数
文章标签： 数据仓库 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/theoldsod2000/article/details/128814882
版权

业务系统中数据发生变化时，一般会进行更新覆盖，这样历史数据容易丢失，在数据仓库中有时候需要保存数据变化的历史记录，做成拉链表。这时候就可以使用kettle的维度查询/更新 组件来实现了。

场景如下：在CRM系统中有一个合同表contract，在数据仓库有fact_contract

oldlionel
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kettle实现拉链表
不想写代码的Light
12-07 1726
kettle 实现 拉链表功能 功能更完善 保姆级说明
使用kettle制作拉链表
weixin_30399155的博客
12-22 292
拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如客户基本信息表。 下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。 user_info表及数据： user_info_l表及转换后的数据： kettle的设计其实很简单，就一个“表输入”一个“维度查询/更新 下面来看一下表输入的配置： 这个很简单，但是一定要有...
Kettle: 维度查询/更新
读万卷书 行万里路
10-25 4763
1.缓慢变化维
Kettle（三）拉链表
weixin_43329319的博客
09-01 1506
文章目录1、示例2、Kettle实现分析3、Kettle实现步骤3.1 更新3.2 插入3.2 流程4、Kettle实现细节4.1 更新4.2 插入5、速度测试5.1 csv数据导入5.2 首次导入数据5.3 更新5.4 插入6、总结与经验 拉链表，顾名思义，就是记录一个事物从开始，一直到当前状态的所有变化的信息。 1、示例 例如下面的流水表，code是会更新的字段。 那么对应的拉链表设计如下：其中uid是自增主键。 需要更详细了解可以参考 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现） 2、
拉链表设计
xiaolang85的专栏
05-27 1545
在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。 1.采集当日全量数据存储到 ND（当日） 表中。  2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。 3.用ND－OD为当日新增和变化的数据（即日增量数据）。 两个表进行全字段比较，将结果记录到tabel_I表中 4.用OD－ND为状态到
kettle组件【维度查询/更新】的用法
像豆芽一样优秀
05-12 4195
通过维度查询/更新实现拉链表 1. 逻辑分析 创建数据表、添加示例数据 抽取源数据，通过kettle组件【维度查询/更新】来实现维表中的start_date与end_date首尾相连，实现该人员的每个状态都保存在维表当中。 通过组件来维护【维度查询/更新】组件的一个小bug。 2. 见图如见物 示例数据 绿线代表张三的电话号码更新，红色代表李四的职级的更新，可以清晰的看出两条数据更新且start_date与end_date首尾相连。、 3. 实现步骤 示例数据 CREATE TABLE user
kettle创建时间维度
01-07
一:流程 二:实现步骤 1.小时 1.1生成小时 1.2增加小时序列 1.3javaScript代码生成小时和AM/PM //生成12小时 var hours12 = hours24.getInteger() ;...var am_pm = hours24.getInteger() > 12 ?...
kettle组件介绍
01-19
* 2维度更新/查询（Dimension lookup/update）：这个步骤类型允许你在数据库表中查找值。 * 变量：Kettle 中的变量可以用来存储和操作数据。 * 日志问题：Kettle 中的日志问题可以用来记录和调试数据处理过程。 ...
java程序调用Kettle7.0 SAP输入组件配置
12-10
Java 程序调用 Kettle7.0 SAP 输入组件配置 在 Kettle 7.0 版本中，SAP 输入组件作为插件形式加载，因此需要在 Java 程序中进行相应的配置和 jar 包引入，才能正确地调用 SAP 输入组件。本文将详细介绍如何在 Java ...
kettle实现SQL关联查询
最新发布
04-03
"Merge Join" Step就是其中之一，它允许用户实现类似SQL中的各种类型关联查询，包括INNER JOIN、LEFT JOIN、RIGHT JOIN以及FULL JOIN。 INNER JOIN是SQL中的一种基本联接类型，它返回两个表中存在匹配的记录。在...
数据仓库维度表更新技术分析
07-10
要想在百度八亿网页的数据海洋中找到你所要的信息， 人工方式需要1200 多人年，而百度搜索技术不到1 秒钟。人 们被数据淹没，却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识，帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中，提取有用数据，进行清理以保证数据的正确性， 然后经过抽取、转换、装载合并到一个企业级的数据仓库里， 从而得到企业数据的一个全局视图，并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理， 最终将知识呈现给管理者，为管理者的决策过程提供支持。 可见，数据仓库技术是商业智能系统的基础，在智能系统开 发过程中，星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实表和环绕在四周的维度表 组成的，事实表中的每一行与每个维度表的多行建立关系， 查询结果是通过将一个或者多个维度表与事实表结合之后产 生的，因此每一个维度表和事实表都有一个“一对多”的连 接关系，维度表的主键是事实表中的外键。随着企业交易量 的越来越多，星型模式中的事实表数据记录行数会不断增加， 而且交易数据一旦生成历史是不能改变的，即便不得不变动， 如对发现以前的错误数字做修改，这些修改后的数据也会作 为一行新纪录添加到事实表中。与事实表总是不断增加记录 的行数不同，维度表的变化不仅是增加记录的行数，而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表的变化类型及其更新技术。
ETL拉链算法的使用
12-13
ETL拉链算法的使用，详细介绍各种拉链算法的使用，及开发过程
kettle资源库表详解
03-23
优化策略包括合理设计表结构、选择高性能的数据库系统、以及使用索引来提升查询速度。 10. **与其他系统的集成** Kettle资源库可以与持续集成工具（如Jenkins）、版本控制系统（如Git）和其他企业级应用集成，构建...
现在银行etl还要做拉链表吗_ETL算法--拉链表算法以及Kettle工具实现
weixin_42524842的博客
01-14 473
用处：能够保存每日的余额，方便历史查询，对于数据条数较多，每日变化不多的情况非常实用。看具体例子【转】OD(在第一天就等于HIS)用户标志 状态 开始时间 结束时间1 1 200712 2999012 2 200712 2999013 3 200712 2999014 ...
KETTLE 联合查询/更新 维度查询更新 帮助文档
weixin_45008177的博客
09-15 893
联合查询/更新https://ckettle.ccsaii.com.cn/help/StepPluginType/combinationlookup?s=csdn 维度查询更新 https://blog.csdn.net/yeshang_lady/article/details/109230313
现在银行etl还要做拉链表吗_如何用etl工具kettle生成拉链表
weixin_33174889的博客
12-24 412
展开全部拉链表是在数据仓库中常见的表，主要用还存储不按时间变化的表，比如32313133353236313431303231363533e58685e5aeb931333363396333客户基本信息表。下面先建两个实例表，user_info和user_info_l，其中user_info_l为拉链表。user_info表及数据：user_info_l表及转换后的数据：kettle的设计其实很简单...
Kettle使用_22 维度更新 缓慢变化维 拉链表
数据科学汇集
01-24 1600
Kettle使用_22 维度更新 Type2 拉链表 需求：通过Kettle实现对员工维度数据的更新和插入。 解决方法：通过维度查询更新组件实现。 Previous work: 准备源数据和维度表结构与数据。 Slow Changing Dimensions(SCD 缓慢变化维) 即数据仓库里的Type2 数据仓库里维度的变化较慢，常用的有三类，分别为： Type1： cust_id name...
数据仓库之拉链表实现
huobumingbai1234的博客
07-22 1974
拉链表在实际工作中还是有使用的必要，能够大量的节省存储空间，我这次主要使用在商户信息构建，商户姓名存在改名字的可能性，但是商户id不变，下面是一个商户信息表做拉链表的例子。 主要构建思路：1、首先，找到记录最早一天的商户信息作为初始状态，写入到最后使用的表中 2、然后把改名字的商户的结束日期修改下 + 每日新增的商户信息 + 改名字之后新的商户...
数仓项目拉链表的小练习
登峰造极胡子球手
05-22 3347
拉链表试题 链接：https://pan.baidu.com/s/1MURoAfcqJQ7q86JoFTg8fQ 提取码：zvni 需求： 在mysql数据库中有一个人员信息表（userinfo） 数据字段如下： 在Mysql中的建表语句为： -- 创建数据库 create database if not exists exam; -- 创建人员表 create table if not exists `exam`.`userinfo`( user_id varchar(50), -- 人员编号
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值