- 博客(11)
- 收藏
- 关注
RSS订阅原创 第八章作业（4）
一、加载租赁数据至租赁事实表 1.新建一个转换，并添加相关控件 2.配置“表输入”控件 连接数据库 编写SQL语句，用于获取字段rental_last_update中的最大值，将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_fact_rental_last_update 预览数据 3.配置“表输入2”控件 连接数据库 编写SQL语句，用于获取sakila数据库中rental数据表中的最新数据 4.配置“字段选择”控件 添加要修...
2021-11-15 16:42:00
450
原创 第八章作业（3）
一、加载演员数据至演员维度表 1.新建一个转换，并添加“表输入”、“表输入2”、“插入/更新”控件 2.配置“表输入”控件 连接数据库 编写SQL语句 预览数据 3.配置“表输入2”控件 连接数据库 编写SQL语句 4.配置“插入/更新”控件 连接数据库 选择要插入数据的目标表，然后指定查询数据所需的关键字和需要更新的字段 5.运行转换 6.查看维度表中的数据 二、加载电影数据至电影维度表 1.新建一个转换，并添加相关控件 ...
2021-11-10 18:50:59
790
原创 第八章作业（2）
一、加载用户数据至用户维度表 1.新疆一个转换，并添加相关控件 2.配置“表输入”控件 连接数据库 编写SQL语句 预览数据，查看临时字段max_dim_customer_last_update是否将默认值设置为1970-01-01 00:00:00 3.配置 “表输入2”控件 连接数据库 编写SQL语句 4.创建一个子转换，并添加相关控件 5.配置“映射输入规范”控件 6.配置“数据库查询”控件 连接数据库 首先添加数据表，然后...
2021-11-08 23:51:21
922
原创 第八章作业
一、加载日期数据至日期维度表 1.新建一个转换，并添加“生成记录”、“增加序列”、“JavaScript代码”、“表输出”控件 2.配置“生成记录”控件 修改“限制”处的默认日期，然后在“字段”处添加相关字段 3.配置“增加序列”控件 修改“值的名称”为DaySequence 4.配置“JavaScript代码”控件 在代码框中编写代码，然后添加变量只字段框中 5.配置“表输出”控件 连接数据库 映射匹配 ...
2021-11-05 15:02:31
481
原创 ETL作业
一、Excel输入 1.新建一个转换，并添加"Excel输入"控件 2.配置“Excel”输入控件 首先选择要处理的文件 点击“工作表”选项卡，进行配置 点击“字段”选项卡，获取数据字段 3.运行转换，并预览结果 二、生成记录 1.添加“生成记录”控件 2.配置“生成记录”控件 添加字段 3.运行转换，并预览结果 三、生成随机数 1.添加“生成随机数”控件 2.配置“生成随机数”控件 3.配置“生成记录”...
2021-10-31 09:48:54
210
原创 第五章操作题
一、对文件merge.csv进行完全去重 1.新建一个转换，并添加“csv文件输入”控件和“唯一行（哈希值）控件” 2.配置“CSV文件输入”控件 选择需要完全去重的CSV文件merge.csv 点击"获取字段”,并预览数据是否加载到CSV文件输入流中 4.配置“唯一行（哈希值）”控件 在“用来比较的字段”处点击“获取”按钮“”添加要去重的字段 5.运行转换 点击“preview data”查看是否消除CSV文件中完全重复的数据 二、对文件people...
2021-10-13 11:48:24
76
原创 《数据清洗》第四章操作题
1.抽取CSV文件 （1）新建一个转换 （2）添加相关控件 （3）配置”csv文件输入“控件 （4）连接数据库 （5）配置“表输出控件” （6）启动运行 （7）查看结果 2.抽取JSON文件 （1）新建转换，并添加相关控件 （2）配置“JSON Input”控件 （3）配置“JSON Input2”控件 （4）配置“表输出”控件 （5）运行并查看结果 3.XML文件的抽取 （1）创建一个转换，并添加相关控件 （） ...
2021-10-07 15:25:42
111
原创 《数据清洗》学习笔记
第一章 数据清洗概述 1.1 数据清洗的背景 由于海量数据的来源是广泛的，数据类型也是多而繁杂的，因此，数据中会夹杂着不完整、重复以及错误的数据，如果直接使用这些原始数据的话，会严重影响数据决策的准确性和效率。因此，对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。 1.1.1 数据质量概述 数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。但在不同的业务场景中，数据消费者对数据质量有着各自不同的观点。从适用性的角度来看...
2021-09-12 13:10:39
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人