kettle实例1

一、加载日期数据至日期维度表

1、创建转换 

         打开kettle,创建转换如图1-1所示。

 图1-1 创建转换

2、配置控件

        配置“生成记录”控件,具体配置如图1-2所示。

图1-2  配置“生成记录”控件

          配置“增加序列”控件,具体配置如图1-3所示。

图1-3 配置“增加序列”控件

        配置“Javascript”控件,首先写代码:

//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);

simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);

//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
	case 1:case 2:case 3:quarter_number = "1";break;
	case 4:case 5:case 6:quarter_number = "2";break;
	case 7:case 8:case 9:quarter_number = "3";break;
	case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;

//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_first_day_in_week = yes;
}else{
	is_first_day_in_week = no;
}

//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
	is_last_day_in_week = yes;
}else{
	is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
	is_first_day_in_month = yes;
}else{
	is_first_day_in_month = no;
}

//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
	is_last_day_in_month = yes;
}else{
	is_last_day_in_month = no;
}

//年_季度
var year_quarter = year4 + "-" + quarter_name;

//年_月份
var year_month_number = year4 + "-" + month_number;

//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;

//日期代理剑(唯一键)
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;

        之后的具体配置如图1-4所示。

图1-4 “Javascript”控件配置

         配置“表输出”控件,连接数据库,做映射匹配,具体配置如图1-5,图1-6,图1-7所示。

图1-5 连接数据库

图1-6 获取字段

 

图1-7 “表输出”控件

3、执行结果

        执行结果如下:

 

二、加载时间数据至时间维度表

1、创建转换 

        创建转换如图2-1所示。

图2-1 创建转换

2、配置控件

        配置“生成记录”控件,具体配置如图2-2所示。

图2-1 “生成记录”控件

        配置“增加序列”控件,具体配置如图2-2所示。

 图2-2 “增加序列”控件

        配置“JavaScript代码”控件,具体配置如图2-3所示。

图2-3 JavaScript代码 

        配置“生成记录2”控件,具体配置如图2-4所示。

图2-4 “生成记录2”控件

        配置“增加序列2”控件,具体配置如图2-5所示。

 图2-5 “增加序列2”控件

        配置“生成记录3”控件,具体配置如图2-6所示。

 图2-6 “生成记录3”控件

        配置“增加序列3”控件,具体配置如图2-7所示。

图2-7 “增加序列3”控件

        配置“JavaScprip代码2”控件,具体配置如图2-8所示。

图2-8 “JavaScprip代码2”控件

         配置“表输出”控件,需要匹配字段,具体配置如图2-9、图2-10所示。

图2-9 “表输出”控件

 图2-10 映射匹配

3、执行结果

        执行结果如下:

 

三、加载员工数据至员工维度表

1、创建转换 

        创建转换如图3-1所示。

图3-1 新建转换

2、配置控件

        每个步骤的具体配置如下:

 

 

 

 

3、执行结果

         执行结果如下:

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当涉及到数据迁移时,Kettle(Pentaho Data Integration)是一个功能强大的工具。下面是一个简单的Kettle数据迁移实例: 假设我们需要将一个MySQL数据库中的数据迁移到另一个MySQL数据库中,具体步骤如下: 1. 准备工作:确保你已经安装并配置好Kettle,并且能够连接到源数据库和目标数据库。 2. 创建一个新的转换(Transformation):在Kettle的界面中,创建一个新的转换。 3. 添加源数据库连接:在转换中,添加一个“Table Input”组件,用于连接到源数据库。配置该组件以指定源数据库的连接信息,包括主机名、端口、数据库名称、用户名和密码等。 4. 指定源数据表:在“Table Input”组件中,指定要迁移的源数据表的名称。 5. 添加目标数据库连接:在转换中,添加一个“Table Output”组件,用于连接到目标数据库。配置该组件以指定目标数据库的连接信息,包括主机名、端口、数据库名称、用户名和密码等。 6. 指定目标数据表:在“Table Output”组件中,指定要迁移的目标数据表的名称。 7. 运行迁移:保存并运行该转换。Kettle将会从源数据库中读取数据并将其插入到目标数据库的相应表中。 这是一个简单的Kettle数据迁移实例,可以根据实际需求进行调整和优化。你还可以使用其他Kettle组件和功能来处理数据转换和清洗的需求,例如使用“Select Values”组件进行字段映射和过滤等操作。 请注意,在实际的数据迁移过程中,你可能还需要考虑如何处理数据的一致性、数据类型转换、错误处理等方面的问题。因此,在进行复杂的数据迁移任务时,建议仔细规划和测试,确保数据的准确性和完整性。 这只是一个简单的示例,希望对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值