《数据清洗》 第八章 综合案例(8.3.2-8.3.4)

目录

1.加载日期数据至日期维度表(8.3.2)

1.1打开kettle工具,创建转换

1.2配置“生成记录”控件

1.3配置“增加序列”控件

1.4配置“JavaScript代码”控件

1.5配置“表输出”控件

1.6运行转换load_dim_data

1.7查看维度表dim_data中的数据

2.加载日期数据至时间维度表(8.3.3)

2.1打开kettle工具,创建转换

2.2配置“生成记录”控件

2.3配置“增加序列”控件

2.4配置“JavaScript代码”控件

2.5配置“生成记录2”控件

2.6配置“增加序列2”控件

2.7配置“生成记录3”控件

2.8配置“增加序列3”控件

2.9配置“JavaScript代码2”控件

2.10配置“表输出”控件

2.11运行转换load_dim_time

2.12查看维度表dim_time中的数据

3.加载员工数据至员工维度表(8.3.4)

3.1打开kettle工具,创建转换

3.2配置“表输入”控件

3.3配置“表输入2”控件

3.4配置“字段选择”控件

3.5配置“值映射”控件

3.6配置“维度查询/更新”控件

3.7运行转换load_dim_staff

3.8查看维度dim_staff中的数据


1.加载日期数据至日期维度表(8.3.2)

1.1打开kettle工具,创建转换

创建转换load_dim_date,并添加“生成记录”控件、“增加序列”控件、“JavaScript代码”控件、“表输出”控件以及Hop跳连接线

1.2配置“生成记录”控件

双击生成记录界面,在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年日期(10*365);在“字段”框添加字段language(语言),country_code(国家码),initial_date(初始化日期),对生成的日期进行初始化。

1.3配置“增加序列”控件

进入“增加序列”界面,在“值的名称”处valuename改为DaySequence,即增加一列日期字段,用于改变“生成记录”控件生成的日期

1.4配置“JavaScript代码”控件

双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选兼容模式候选框,点击获取变量按钮

1.5配置“表输出”控件

双击图中“表输出”控件,进入“表输出”界面,单击新建按钮,配置数据库连接,配置完成后单击“确认”按钮,单击目标表右侧的“浏览”按钮,选择输出目标表,即维度表dim_date;勾选“指定数据库”字段,用于将维度表字段与JavaScript控件流中的变量字段进行连接。单击“数据库字段”选项卡界面,在该界面下单击“输入字段映射”按钮,弹出“映射匹配”对话框

1.6运行转换load_dim_data

1.7查看维度表dim_data中的数据


2.加载日期数据至时间维度表(8.3.3)

2.1打开kettle工具,创建转换

创建load_dim_time,并添加“生成记录”控件,“增加序列”控件,JavaScript代码控件,“记录关联”控件,“表输出”控件,以及Hop跳连接线

2.2配置“生成记录”控件

双击“生成记录”控件,进入“生成记录”界面,在“限制”后的文本框中添加24表示生成24条数据;在字段框中添加生成字段名称,字段类型以及默认值0

2.3配置“增加序列”控件

双击“增加序列”控件,进入“增加序列”界面,在“值的名称”处将valuename改为hours24,即增加一列小时字段,在起始后的文本框内奖默认值1修改为0,代表从0开始生成24条数据,即生成0~23.由于时间由时分秒构成,因此生成时分秒数据的字段

2.4配置“JavaScript代码”控件

双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选“兼容模式?”复选框,使得“JavaScript代码”控件的兼容性更强,在JavaScript代码框中编写代码,单击“获取变量”按钮,将代码中定义的变量添加至字段框

2.5配置“生成记录2”控件

双击“生成记录2”控件,进入“生成记录2”界面,在“限制”后的文本框加入60表示生成60个数据,在“字段”框中添加生成字段的名称、字段类型及默认值0

2.6配置“增加序列2”控件

双击“增加序列2”控件,进入“增加序列”界面,将“值的名称”处的valuename改为minutes,即增加一列分钟字段,用于记录分钟数,在起始值文本框将默认值从1改为0

2.7配置“生成记录3”控件

双击生成记录3控件,进入“生成记录”界面,在“限制”后的文本框添加60表示生成60条数据,在“字段”框添加生成字段名称,字段类型默认为0

2.8配置“增加序列3”控件

进入“增加序列”界面,将“值的名称”处的valuename改为seconds,即增加一秒字段,用于记录秒数

2.9配置“JavaScript代码2”控件

双击JavaScript代码2控件,进入该界面,勾选“兼容模式?”复选框,使得“JavaScript代码2”控件兼容性更强,在JavaScript代码框中编写代码

2.10配置“表输出”控件

双击“表输出”控件,进入表输出界面,单击“新建”按钮,配置数据库连接

单击浏览按钮,选择输出的目标表,即维度表dim_time;勾选“指定数据库候选框”,用于将维度表dim_time字段与JavaScript控件流中的字段进行匹配,单击“数据库字段”选项卡,切换到“数据库字段”选项卡界面,并在该界面下单击“输入字段映射”按钮,弹出“映射匹配”对话框。依次选中“源代码”字段中的和目标字段中的字段,再单击Add按钮,将一对映射字段添加至“映射”框中,点击“猜一猜”按钮

2.11运行转换load_dim_time

2.12查看维度表dim_time中的数据


3.加载员工数据至员工维度表(8.3.4)

3.1打开kettle工具,创建转换

创建转换load_dim_staff,并添加“表输入”控件、“字段选择”控件、“值映射”控件,“维度查询/更新”控件以及Hop跳连接线

3.2配置“表输入”控件

双击“表输出”控件,进入“表输入”控件,单击“新建”按钮,配置数据库连接,配置完成后单击“确认”按钮

3.3配置“表输入2”控件

在SQL框中编写SQL语句,用于获取字段staff_last_update中的最大值,将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_staff_last_update,单击“预览”按钮,查看临时字段max_dim_staff_last_update,是否将默认值设置为1970-01-01 00:00:00

3.4配置“字段选择”控件

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变源数据的字段”处添加字段active,由于维度表dim_staff中字段active的数据类型为char类型,因此需要将数据表staff中字段active的数据类型改为String

3.5配置“值映射”控件

双击值映射控件,进入值映射界面,在“使用字段名”后的下拉列表中选择字段active;在“字段框”中添加源值和目标值,这里将替换为Yes,将N替换为No

3.6配置“维度查询/更新”控件

进入“维度查询/更新”界面,单击右侧浏览选择目标表,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id,用于指定维度表的字段和“值映射”控件流中的字段的比较条件,若维度表中的数据有更新,则通过字段选项卡处添加查询/更新字段,用于更新目标维度表的字段数据,在“代理关键字”下拉列表选择staff_key,并指定“创建代理键”为使用自增字段,在“Version字段”后的下拉列表中选择staff_version_number;在“Stream日期字段”后的下拉列表中选择last_update;在“开始日期字段”后的下拉列表中选择staff_vaild_from

3.7运行转换load_dim_staff

3.8查看维度dim_staff中的数据

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值