- 博客(10)
- 收藏
- 关注
RSS订阅原创 第八章作业3
一、加载演员数据至演员维度表1.新建一个转换，并添加“表输入”、“表输入2”、“插入/更新”控件2.配置“表输入”控件连接数据库在SQL框中编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”预览数据3.配置“
2021-11-12 15:27:04
615
原创 第八章作业2
一、加载用户数据至用户维度表1.使用Kettle工具，创建一个转换load_dim_customer，并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线。2.配置“表输入”控件...
2021-11-12 14:53:39
564
原创 第八章作业
一、加载日期数据至日期维度表1.新建一个转换，并添加“生成记录”、“增加序列”、“JavaScript代码”、“表输出”控件2.配置“生成记录”控件3.配置“增加序列”控件4.配置“JavaScript代码”控件5.配置“表输出”控件连接数据库6.运行转换7.查看维度表中的数据二、加载时间数据至时间维度表1.新建一个转换，并添加相关控件2.配置“生成记录”控件3.配置“增加序列”控件4.配置“JavaScript代码”控件5.配置“生成记录2”控件6.配
2021-11-08 15:28:36
89
原创 第七章操作题
一、全量加载1.新建一个转换，并添加“执行SQL脚本”、“表输入”、“表输出”控件2.配置“执行SQL脚本” 控件3.配置"表输入"控件4.配置“表输出”控件5.启动运行转换。二、增量加载1.新建一个转换，并添加“表输入”、“插入/更新”控件2.配置“表输入”控件3.配置“插入/更新”控件4.修改incremental_source表中的数据5.启动运行转换...
2021-11-03 15:46:22
100
原创 ETL作业
一、Excel输入1.新建一个转换，并添加"Excel输入"控件2.配置“Excel”输入控件选择文件配置工作表选项卡点击“字段”选项卡，获取数据字段3.运行转换二、生成记录1.添加“生成记录”控件2.配置“生成记录”控件3.运行转换，并预览结果三、生成随机数1.添加“生成随机数”控件2.配置 “生成随机数”控件3.配置“生成记录”控件4.配置“Excel”输出控件5.运行转换，并预览结果四、获取系统信息1.新建一个转换，添加“获取系统信息”控件
2021-11-01 15:40:49
128
原创 第六章操作题
1.实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。1）打开Kettle工具，新建转换使用Kettle工具，创建一个转换，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线2）配置文本文件输入控件双击“文本文件输入”控件，进入“文
2021-10-24 17:18:44
277
原创 第五章操作题
案例实现一.对文件merge.csv进行完全去重1.数据准备2.打开Kettle工具 创建转换通过使用Kettle工具，创建一个转换，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。3.配置CSV文件输入控件双击“CSV文件输入"控件，进入”CSV文件输入“配置界面，具体如图所示。单机”浏览“按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击”获取字段“按钮，Kettle会自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属
2021-10-16 16:15:18
77
原创 数据清洗（Kettle转换和作业）
一.转化kettle实现CSV文件转换为文本文件1.创建转换2.添加“CSV文件输入”和"文本文件 输出"控件3.双击“CSV文件输入”控件，输入需要转换的文件名等其他参数。4.Mysql数据库连接配置5.获取字段并预览结果6.配置“文本文件输出”界面7.运行后并查看转换结果二、用kettle实现发送邮件1.创建一个作业2.添加相关控件3.配置“start”控件4.配置“发送邮件”控件...
2021-10-07 14:50:57
330
原创 数据清洗第四章课后操作题
数据清洗第四章课后操作题一. CSV文件的抽取1.打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能。2.双击CSV文件输入控件，进入“CSV文件输入”界面，点击浏览，选取文件csv_extract.csv3.点击获取字段按钮，Kettle自动检索CSV文件，对文件中的字段类型，格式，长度，精度等属性进行分析。4.双击“表输出”控件，进入表输出界面，点击“新建”按钮，进行配置数据库连接，勾选指定
2021-10-07 14:28:09
288
原创 2021-09-12
**第一章 数据清洗概述**1.1数据清洗的背景对于企业的决策者来说，正所谓“垃圾进垃圾出”—如果作为决策支持的数据仓库存放的数据质量达不到要求，将直接导致数据分析和数据挖掘不能产生理想的结果，甚至还会产生错误的分析结果，从而误导决策。因此我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据，用以支持企业战略决策。1.1.1 数据质量概述数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。对于一个无...
2021-09-12 15:27:10
465
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人