kettle案例1-计算器生成时间维度数据

最新推荐文章于 2024-04-09 17:29:37 发布
最新推荐文章于 2024-04-09 17:29:37 发布
阅读量308 收藏
点赞数
分类专栏： 数据清洗 文章标签： mysql sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46618641/article/details/120988207
版权
本文详细介绍了如何利用Kettle工具结合MySQL数据库，创建一个计算器来生成时间维度数据，包括年、月、日等不同粒度，助力数据分析和报告的精细化处理。通过实例操作，展示了Kettle在ETL过程中的高效能。
摘要由CSDN通过智能技术生成

 

 

椰澡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle案例8--综合案例—构建DVD租赁商店数据仓库
m0_68381568的博客
11-25 1040
综合案例—构建DVD租赁商店数据仓库
kettle创建时间维度
01-07
一:流程 二:实现步骤 1.小时 1.1生成小时 1.2增加小时序列 1.3javaScript代码生成小时和AM/PM //生成12小时 var hours12 = hours24.getInteger() ; //生成AM/pm var am_pm = hours24.getInteger() > 12 ? PM : AM; 2.分钟 2.1生成分钟 2.2增加分钟序列 3.秒 3.1生成秒 3.2增加秒序列 4.笛卡尔积(时 * 分 * 秒) 5.javaScript代码生成时间属性 //时间属性 var time = (hours24.getI
Kettle-时间维度的生成
07-20 3928
kettle生成自定义连续的报表时间
sinat_41910150的博客
08-05 603
有时候我们要生成一个空的时间连续的报表，比如要2018-01～2019-08这样一组连续的日期，其他数据可能是空的或者是以后再填充，所以有生成一个连续的时间表的需求，这里记录一下用kettle怎么做。 具体控件如下： 用到的控件有： 生成记录： 这个控件的作用是生成一组相同的数据，数据的条数等于“限制”框中值，“限制”框中可以试用${变量名}的变量值代替，如下图生成20条“2018-01-01”...
Kettle使用_17 计算器生成时间维度数据
数据科学汇集
01-22 1253
Kettle使用_17 计算器生成时间维度数据 需求: 通过Kettle的组件自动生成时间维的数据。 解决方法：结合增加序列、计算器、选择字段等组件解决，这里主要是通过计算器里的支持的计算类型来实现的，这里的时间维一般包括年、月、日、所在周、年所在周、月所在周、周所在日等。 Step1： 新建个转换。 Step2: 拖个生成记录组件，该组件位于转换的输入分类下。 Step3:配置生成记录组件。 Step4:拖增加序列组件，该...
计算时间差
chengcheng的博客
08-31 814
因为做kettle数据抽取，常常要知道执行消耗了多少时间，而自己对shell只是知道一些基础的东西，于是网上查资料，顺便进行下总结： 思路： 1.将时间date转变为时间戳（即从1970-01-01 00：00：00 开始算起的秒数） 2.时间戳之间就可以直接进行运算了 3.运算得到的结果是秒，可以进一步运算除以60去得到分钟，小时，天数等 3.1.也可以将秒转化为date型：$(dat
Kettle案例笔记
m0_48883053的博客
10-27 781
案例6-计算器生成时间维度数据 指定一个开始日期，生成连续60天的日期，同时，生成当天的年份，月份，日期，周几，属于本年的第几天，本年的第几周，一个序号。 1.创建转换。 2.配置生成记录控件。 3.配置增加序列控件。 4.配置计算器空间，注意字段类型。 5.配置字段选择控件。 6.运行转换。 案例7-Excel输入 把这些数据拷贝到excel表格中，生成一个文件，“物理成绩.xls” 1.创建Excel输入转换。 2.配置Excel输入控件...
第八章 综合案例
weixin_51670063的博客
11-27 627
kettle第八章作业
银行数据仓库项目
最新发布
gailun66的博客
04-09 2796
需要了解的概念：OLTP是一个操作系统 OLAP是面向解释分析的系统面向主题：客户在使用数仓的时候所关心的内容叫做主题，面向客户的需求银行有哪些主题？客户、财务、贷款集成的：根据主题，将采集业务数据整合汇总加工，形成业务宽表（业务明细表）非易失：数据要做到准确、完整、一致、高效随着时间变化而变化：数据是动态的不是死的。
日期差值计算器，计算两个日期之间差多少天
07-20
这是一个非常简单好用的东东，用于简单计算两个日期之间的差值。
kettle中使用js计算两个日期之间的天数.txt
08-03
kettle中使用js计算两个日期之间的天数
数据分析中的时间维度表生成
10-09
Oracle数据库中的时间维度生成 通过执行包中的procedure和function，然后根据设定的参数，自动生成从给定参数时间到当前时间的时间维度数据 ROW_WID DAY_DT WEEK MONTH QUARTER HALF_YEAR YEAR WEEK_DAY MONTH_DAY QUARTER_DAY HALF_YEAR_DAY YEAR_DAY MONTH_WEEK QUARTER_WEEK HALF_YEAR_WEEK YEAR_WEEK QUARTER_MONTH HALF_YEAR_MONTH YEAR_MONTH HALF_YEAR_QUARTER YEAR_QUARTER YEAR_HALF_YEAR DAY_AGO_WID CREATED_BY_WID CHANGED_BY_WID CREATED_ON_DT CHANGED_ON_DT DELETE_FLG W_INSERT_DT W_UPDATE_DT DATASOURCE_NUM_ID ETL_PROC_WID INTEGRATION_ID 20000101 1/1/2000 2000/01 2000/01 2000/Q1 2000/Half1 2000 7 1 1 1 1 1 1 1 1 1 1 1 1 1 1 19991231 0 0 8/31/2012 15:08 8/31/2012 15:08 N 8/31/2012 15:08 8/31/2012 15:08 1000 0 20000101
javaScript 计算两个日期的天数相差(示例代码)
10-26
本篇文章主要介绍了javaScript 计算两个日期的天数相差(示例代码) 需要的朋友可以过来参考下，希望对大家有所帮助
计算时间差的方法
Sara_xie的专栏
08-17 1130
TimeSpan ts1=new TimeSpan(starttime.Ticks); TimeSpan ts2=new TimeSpan(endtime.Ticks); TimeSpan ts=ts1.Subtract(ts2).Duration(); string dateDiff=ts.Days.Tostring()+"天"+ts.Hours.Tostring()+"小时"+ts.Mi
关于时间差的计算思路
03-09 396
时间间隔（也就是时间差）的计算，一般是得出两个日期之间的差值。这个差值本身并不难得到，主要是各种表达形式的处理复杂一些。 思路：将两个时间统一换算成毫秒数。得出一个差值，在此基础上计算它有多长的时间（可以用各种时间单位表达） [code="java"] Date d1 = new Date("2009-3-20 12:30:00"); Date d2 = new Date("2009-3-...
kettle案例6-计算器生成时间维度数据
勇气与行动
10-26 739
参考： (20条消息) Kettle使用_17 计算器生成时间维度数据_数据科学汇集-CSDN博客 指定一个开始日期，生成连续60天的日期，同时，生成当天的年份，月份，日期，周几，属于本年的第几天，本年的第几周，一个序号。 实现效果： 1.60条日期数据--生成记录控件 2.序号_时间维度--增加序列控件 3.计算器3---计算器控件 尤其注意红框中的数据类型，不然会报错。 4.字段选择2---字段选择控件 ...
真正准确的“两个日期相差多少天”函数
你看那个程序员的背影
08-29 2860
网上的方法大多是直接将两个日期取毫秒数相减 没有考虑第一天最后1秒到第2天第1秒，其实也是过了一天的情况function dateDiff(sDate, eDate){ const y = Math.abs(eDate.getFullYear() - sDate.getFullYear()); const m = Math.abs(eDate.getMonth() - sDate.g
对时间进行加减操作方法
Gerry的专栏
05-22 1264
//取当前时间往后5期的(2个半小时)   GregorianCalendar gc = new GregorianCalendar();   gc.add(Calendar.MINUTE, 150);   String nextTime = StringUtil.timeToStr(gc.getTime());   
kettle-core-jar
05-09
kettle-core-jar是Kettle ETL工具的核心jar包，Kettle是一款流行的开源ETL工具，可用于数据提取、转换和加载（ETL）的各个方面。kettle-core-jar包含了Kettle ETL工具的核心功能和基本模块，可以在开发和运行Kettle ETL方案时引用这个jar包。 在kettle-core-jar中，主要包含以下功能： 1. 数据连接和查询功能：kettle-core-jar能够连接各种数据库和数据源，并且支持SQL查询和数据导入导出。 2. 数据转换和清洗功能：kettle-core-jar提供了多种数据转换和清洗功能，如数据拆分、合并、过滤、排序等。 3. 数据映射和转换功能：kettle-core-jar支持多种数据格式之间的转换，包括XML、JSON、CSV、Excel等。 4. 数据抽取和加载功能：kettle-core-jar可以从多种数据源读取数据，然后将数据加载到其他目标源中。 5. 数据监控和管理功能：kettle-core-jar可以在运行过程中监控数据的处理进程，并提供数据管理和操作的工具。 总之，kettle-core-jar是Kettle ETL工具的核心，包含了该工具的基础和核心功能。对于需要使用Kettle ETL工具的开发者和数据处理人员来说，了解和掌握kettle-core-jar的功能和使用方法，可以让他们更好地使用该工具，提高数据处理效率和质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值