- 博客(10)
- 收藏
- 关注
RSS订阅原创 8.3.7-8.3.8
通过Kettle工具加载演员数据至演员维度表dim_actor1）打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_actor，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图所示。（2）配置表输入控件（3）配置表输入2控件（4）配置插入/更新控件（5）运行转换load_dim_actor通过Kettle工具加载电影数据至电影维度表dim_film1)打开Kettle工具，创建转换...
2021-11-21 19:57:59
354
原创 8.3.5-8.3.6
加载商店数据至商店维度表1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_store，并添加表输入控件、映射控件、数据库查询控件、维度查询/更新控件以及Hop跳连接线，具体如图所示。2.配置表输入控件双击“表输入”控件，进入“表输入”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，如图所示在SQL框中编写SQL语句，用于获取字段store_last_update中的最大值，将该值替换为”1..
2021-11-21 19:14:46
99
原创 第八章作业
加载日期数据至日期维度表1、打开kettle工具，创建转换使用Kettle工具，创建一个转换load_dim_date，并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线，具体如图所示2、配置生成记录控件双击“生成记录”控件，进入“生成记录”配置界面。3、配置增加序列控件双击“增加序列”控件，进入“增加序列”配置界面，并在“值的名称”处将valuename改为DaySequence，即增加一列日期字段，后续用于改变“生成记录”控件生成的..
2021-11-21 18:56:30
147
原创 第七章操作
全量加载打开Kettle工具，创建转换配置执行SQL脚本控件点击“新建”按钮，配置数据库连接配置“表输入”控件配置“表输出”控件运行转换查看数据full_target数据增量加载打开Kettle工具，创建转换配置“表输入”控件点击“新建”，连接数据库配置“插入、更新”控件数据库连接数据表...
2021-11-05 21:28:06
57
原创 Excel输入，生成记录，生成随机数，获取系统信息，排序记录，去除重复记录，替换NULL值
1.Excel输入使用 Ctrl+N 快捷键，创建 【Excel 输入 】 转换工程，单击 【 核心对象 】 选项卡，展开 【 输入 】 对象，选中 【Excel 输入 】组件，并拖曳拖曳到右边工作区中，如图所示。 Ø 使用 Ctrl+N 快捷键，创建 【Excel 输入 】 转换工程，单击 【 核心对象 】 选项卡，展开 【 输入 】 对象，选中 【Excel 输入 】 组件，并拖曳拖曳到右边工作区中，如图所示。双击【Excel输入】组件在【Excel输入】对话框中，包含组件的基...
2021-11-05 18:31:42
639
原创 2021-11-04
实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。1）打开Kettle工具，新建转换 使用Kettle工具，创建一个转换generalization，（2）配置文本文件输入控件...
2021-11-04 15:54:35
93
原创 对文件的完全去重和文件缺失值进行填充
对文件merge.csv进行完全去重新建一个转换，添加CSV文件输入控件和唯一行（哈希值）控件配置csv文件输入控件配置唯一行（哈希值）控件运行转换完全去重对文件people_survey.txt中的缺失值进行填充使用kettle工具创建转换，并添加文本文件输入控件、过滤记录控件、空操作控件、空操作（什么也不做）控件、替换NULL值控件、合并记录控件、字段选择控件以及Hop跳 连接线。配置文本文件输入控件配置过滤控件配置替换NULL值控件...
2021-10-14 21:26:22
87
原创 Kettle的转化 、作业
一、Kettle概念Kettle是一款国外免费开源的轻量级ETL工具，是基于Java语言开发的，可以在Windows、Linux、Unix系统上运行，并且是绿色无需安装的，它可以用于各种数据库之间数据的迁移。Kettle工具主要是由四个组件组成，分别是Spoon、Pan、Kitchen及Carte组件。二、Kettle 下载安装Kettle的集成开发环境Spoon提供了一个基于SWT的图形用户界面，主要用于ETL的开发。下面，分步骤讲解如何下载安装windows环境下的Kettle工具。由于Ke
2021-09-21 20:34:55
673
原创 数据清洗概述
1.1数据清洗的背景由于社会的需求我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据,用以支持企业战略决策。由此可见，数据质量在企业战略决策中占据着重要的地位。1.1.1数据质量的概述数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景需求的程度。数据质量是一个相对的概念(与决策有关)。不同的决策者对数据的质量的高低要求也是不同的。对于一个无关的数据，即使质量很高，对决策也起不到任何作用。数据质量的显著特点如下。“业务需求”会随时间变化.
2021-09-10 19:53:11
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人