kettle创建时间维度

最新推荐文章于 2024-04-03 15:49:01 发布
最新推荐文章于 2024-04-03 15:49:01 发布
阅读量540 收藏 2
点赞数
分类专栏： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44769733/article/details/104349725
版权

一:流程

图1

二:实现步骤

1.小时

1.1生成小时

图2

1.2增加小时序列

图3

1.3javaScript代码生成小时和AM/PM

图4

//生成12小时
var hours12 = hours24.getInteger() % 12 ;
//生成AM/pm
var am_pm = hours24.getInteger() > 12 ? "PM" : &
最低0.47元/天 解锁文章
是谁注册了我的2052
关注
专栏目录
Kettle生成日期维度数据(数仓项目)
Knight
03-21 2282
目录生成日期维度数据Hive创建日期维度表使用Kettle构建以下组件结构图 生成日期维度数据 经过需求分析我们发现指标统计需要的日期类型比较多如果在事实表的时间字段上做文章，比较复杂，甚至有些根本无法获取到比如节假日、休息日、工作日信息。所以我们可以考虑提前准备一张日期维度表，准备好指标统计的日期类型。 利用我们前面学习的kettle工具生成日期维度数据，需要借助于kettle的js脚本组件。 kettle实现思路： 日期使用 Canlendar、SimpleDateFormat，编写Javascrip
kettle 表输入 显示重复_Kettle实操简单小案例
weixin_39628864的博客
11-20 1499
前言： 第一次发布文章，很多不足之处还请大佬们多多指正。 在此之前并未听说过该工具，由于项目所需，上网查找教程后发现大多为零散的知识点，完成项目后提出其中一部分实际需求总结为该文。由于未深入学习kettle，该文只作入门教程，疑问之处也希望和大家相互学习讨论。 由于时间有限，网上教程多且详细易懂，kettle的安装、基础知识和基本控件、以及作用好处等等，此...
kettle创建日期维度表
weixin_44769733的博客
02-16 1508
一:流程 二:实现步骤 1.生成记录 2.增加日期序列 3.生成日期的属性(JavaScript代码) //locale var locale = new java.util.Locale(language.getString(),country.getString()); //calendar var calendar = new java.util.GregorianCalendar(...
KETTLE 读取文本信息添加时间字段
qq_36688928的博客
06-12 3190
转换：https://blog.csdn.net/care_about_people/article/details/44960193 KETTLE 读取文本信息添加时间字段:https://blog.csdn.net/Care_about_people/article/details/44960193 kettle从数据库添加要求指定的日期内的数据，并且时间实现自增模式:https...
kettle时间维度_学习笔记系列----1、kettle之js实现日期维度
weixin_33208553的博客
02-01 543
最近在《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》一书中看到了构建时间维度的kettle过程，进行一下学习记录。对kettle有兴趣的可以去看一下这本书，很不错的一本书。整体分解Generate 1 years生成一年的数据行生成一年的数据行(365条)，并生成几个常量。initial_date设置初始日期是 2017-01-01language_code 语言代码设...
kettle时间维度
08-17
在Kettle中，时间维度通常用于处理与日期和时间相关的数据。 时间维度在Kettle中可以通过不同的方式实现。一种常见的方法是创建一个包含日期和时间相关信息的维度表。这个维度表可以包括日期、年份、月份、季度、...
kettle按照时间增量和全量抽_kettle入门(七) 之kettle增量方案(一)全量比对取增量-根据唯一标示...
weixin_39718083的博客
01-27 666
引：ods有个工程表来自于上游系统，数据量不大 十几万，下游系统需要此数据，并且需要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示，即数据若是插入 有插入时间和插入标示 若是修改 有修改时间和修改标示 若是删除需逻辑删除、有删除标示且有删除时间解决：kettle的转换ktr里有一个图元叫做合并记录，可以把两个表输入分为源和目的根据唯一标示 进行全量比对。由此，我们得到增量的数据流，...
计算时间差
chengcheng的博客
08-31 857
因为做kettle数据抽取，常常要知道执行消耗了多少时间，而自己对shell只是知道一些基础的东西，于是网上查资料，顺便进行下总结： 思路： 1.将时间date转变为时间戳（即从1970-01-01 00：00：00 开始算起的秒数） 2.时间戳之间就可以直接进行运算了 3.运算得到的结果是秒，可以进一步运算除以60去得到分钟，小时，天数等 3.1.也可以将秒转化为date型：$(dat
kettle按照时间增量和全量抽_kettle入门(七) 之kettle增量方案(一)全量比对取增量-依据唯一标示...
weixin_29197051的博客
12-23 199
引：ods有个project表来自于上游系统，数据量不大 十几万，下游系统须要此数据，而且须要每天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示，即数据若是插入 有插入时间和插入标示 若是改动 有改动时间和改动标示 若是删除需逻辑删除、有删除标示且有删除时间解决：kettle的转换ktr里有一个图元叫做合并记录。能够把两个表输入分为源和目的依据唯一标示 进行全量比对。由此。我们得到增量...
数据分析中的时间维度表生成
10-09
Oracle数据库中的时间维度生成 通过执行包中的procedure和function，然后根据设定的参数，自动生成从给定参数时间到当前时间的时间维度数据 ROW_WID DAY_DT WEEK MONTH QUARTER HALF_YEAR YEAR WEEK_DAY MONTH_DAY QUARTER_DAY HALF_YEAR_DAY YEAR_DAY MONTH_WEEK QUARTER_WEEK HALF_YEAR_WEEK YEAR_WEEK QUARTER_MONTH HALF_YEAR_MONTH YEAR_MONTH HALF_YEAR_QUARTER YEAR_QUARTER YEAR_HALF_YEAR DAY_AGO_WID CREATED_BY_WID CHANGED_BY_WID CREATED_ON_DT CHANGED_ON_DT DELETE_FLG W_INSERT_DT W_UPDATE_DT DATASOURCE_NUM_ID ETL_PROC_WID INTEGRATION_ID 20000101 1/1/2000 2000/01 2000/01 2000/Q1 2000/Half1 2000 7 1 1 1 1 1 1 1 1 1 1 1 1 1 1 19991231 0 0 8/31/2012 15:08 8/31/2012 15:08 N 8/31/2012 15:08 8/31/2012 15:08 1000 0 20000101
关于kettle的一些使用笔记
zhouapples的博客
07-23 1490
Kettle是一款国外开源的ETL工具，纯java编写,对于办公自动化来说也是一款神器,好了直入主题,这里只记录了kettle的一些常用的转换的组件作用和意义,并不含软件安装和使用过程,因为这个过程很简单,界面很友好,可以自己摸索! version==8.3 转换部分: 输入 1. csv文件输入 : 从csv文件读取数据,csv是一种带格式的文本文件,可指定加载时使用的封闭符和分隔符 2. 文本文件输入 : 从文档文件读取数据,也可以指定分隔符和封闭符,常用于加载日志 3. Excel输入 : 就是从Ex
kettle使用详解（一）
weixin_37763359的博客
12-17 1665
kettle使用详解（配置以及创建一个简单的转换） 开篇：其实在很久之前，就有想写博客的想法，鉴于种种原因一直也没有开始下笔。但是总结真的是一门学问，既能提高自己，又能惠及他人，何乐而不为。 所以笔者决定通过一系列的原创博文，来为需要使用相同技术的同学提供一条捷径，让大家能避过一些坑，旨在共同提高。 此系列为kettle的使用第一篇文章，接下来会从基础配置，简单抽取一直到复杂的数据库转换为大家讲解...
Kettle最常用控件 (v5.30)
热门推荐
C++ 爱好者 make_it_simple888
08-13 1万+
Kettle控件的特点：Kettle的控件分类比较细致，功能相对单一也很具体。使用起来很容易掌握。 Kettle一般处理方法：正式由于Kettle控件的细化特点，所以往往需要组合起来使用。组合使用只是从点的角度看问题，还有就是从线的角度看问题。比如，目标表中的各个列其值可能由其他列的值计算得到，这就涉及到列的计算次序。合理选择计算次序，可以降低计算复杂度和可读性。修改kettle文件：修改之后要保
ETL-Kettle学习笔记（入门，简介，简单操作）
weixin_30832405的博客
09-29 1115
KETTLE Kettle:简介 ETL:简介 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少的，Kettle就是强大的ETL工具。 Kettle:概念 Kettle是一款国外开源的ETL工具，纯java编写，可以...
kettle介绍-Step之If field value is null
最新发布
weixin_43398232的博客
04-03 418
替换NULL值步骤可以将输入流中所有字段的空值进行替换，也可以指定一种类型下的空值进行替换，还可以指定一个字段下的空值进行替换三种替换NULL模式所有字段空值全部替换选定字段替换指定值根据数据类型替换指定值。
kettle-如何使用JavaScript步骤
huryer的专栏
01-31 6278
描述 这是“ JavaScript值 ”步骤的修改版本，可提供更好的性能和更轻松的基于表达式的用户界面，以构建JavaScript表达式。此步骤还允许您为每个步骤创建多个脚本。 另请参阅“将JavaScript从2.5.x迁移到3.0.0 ”以获取更多内部细节。 您本地的“ data-integration / samples / transformations”文件夹中也有很多示例。 请记住，...
使用kettle进行数据统计
qq_68383591的博客
05-31 4901
首先需要指定一个常量N，值为100，类型为Number，接着将N和随机种子相乘的值存放到新的字段x中。在input field中选择需要计算的字段，对于需要输出的字段选择为true，其余为false。为了完成该转换，需要使用生成记录控件、生成随机数控件、计算器控件及字段选择控件。3. 在第2问的基础上设计一个转换，任务是生成一个随机数，并判断它是否处于2中均值的一个标准差内。生成随机数控件可以用来生成随机种子，生成0到1内的小数，具体配置如图所示。最后使用字段选择控件，删除多余字段。
第八章 8.3.2 8.3.3 8.3.4 例子实现
qq_57687601的博客
11-19 773
1.例子8.3.2 通过Kettle工具加载日期数据至dim_date日期维度表。 （1）打开Kettle工具，创建转换，使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示。 （2）配置生成记录控件 双击“生成记录”控件，进入“生成记录”配置界面。 在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值