- 博客(10)
- 收藏
- 关注
RSS订阅原创 第八章案例实现3
8.3.7加载演员数据至演员维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-..
2021-11-15 15:14:17
343
原创 第八章案例2
8.3.5加载商店数据至商店维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_store，并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线，具体如图所示。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示。在SQL框中编写SQL语句，用于获取字段store_last_update中的最大值，将...
2021-11-14 22:27:49
582
原创 第八章案例实现
8.3.2 加载日期数据至日期维度表1.打开kettle工具，创建转换 使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示。2. 配置生成记录控件 双击“生成记录”控件，进入“生成记录”配置界面。 在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language（语言）、country_...
2021-11-05 19:20:22
146
原创 第七章操作题
一，全量加载1.打开kettle工具，创建转换 打开kettle工具创建转换full_load，并添加“执行SQL脚本”控件，“表输入”控件，“表输出”控件以及Hop跳连接线，如图：2.配置“执行SQL脚本”控件 双击上图中的“执行SQL”控件，进入“执行SQL语句”界面，如图： 单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮，如图： 在SQL框中编写删除数据表full_target中的数据的SQL语句，如图：3.配置“表输入”控...
2021-11-04 19:44:51
230
原创 kettle案例
kettle案例7-Excel输入kettle案例8-生成记录kettle案例9-生成随机数kettle案例10-获取系统信息kettle案例11-排序记录kettle案例12-去除重复记录kettle案例13-替换NULL...
2021-11-03 11:25:03
141
原创 第六章 数据转换课后操作题
实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。（1）打开Kettle工具，新建转换使用Kettle工具，创建一个转换generalization，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线，具体效果如图1所示。.
2021-10-20 19:52:10
83
原创 第五章 数据的清洗与检验
一、对文件进行完全去重1.打开kettle工具，新建转换使用kettle工具创建转换repeat_trnsform，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线。图12.配置“CSV文件输入”控件双击“CSV文件输入”控件，进入“CSV文件输入”界面。图2单击“浏览”按钮，选择要进行完全去重处理的CSV文件。图3单击“获取字段 ”按钮，kettle会自动检索CSV文件，并对文件中的字段类型，格式，长度，精度 等属性进行分析。图4单击“预览”按钮，...
2021-10-13 23:03:51
92
原创 数据清洗概述
第1章 数据清洗概述一、数据清洗的背景当今时代，企业信息化的要求越来越迫切。我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据，用于支持企业战略决策。1.数据质量概述数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。从适用性的角度看，数据质量与决策有关，不同的决策者对数据质量的高低要求也是不同的。数据质量的显著特点如下：· “业务需求”和数据质量会随时间变化。· 数据质量可以借助信息系统度量，但独立于信息系统存在。· 数据质
2021-09-12 17:11:08
1196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人