- 博客(10)
- 收藏
- 关注
RSS订阅原创 【无标题】
8.3.7 加载演员数据至演员维度表 打开Kettle工具，创建转换，load_dim_actor，并添加“表输入”控件、“插入/更新”控件以及Hop跳连接线。 配置“表输入”控件，点击“表输入”控件，进入“表输入”界面，，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮。 在SQL框编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为1970-01-01, 00:00:00并赋值给临时字段max_dim_actor_last_update；单击“预览”按钮，
2021-11-22 19:00:10
140
原创 【无标题】
1、加载用户数据至用户维度表 打开Kettle工具创建转换load_dim_customer，并添加“表输出”控件、“映射（子转换）”控价、“字段选择”控件、值映射控件、“维度查询/更新”控件，以及Hop跳连接线。 配置“表输入”控件，进入“表输入”界面 单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮。 在SQL数据框中编写用于获取字段customer_last_update中的最大值，将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_customer_la
2021-11-22 17:09:50
106
原创 【无标题】
1、加载日期数据至日期维度表 打开Kettle工具创建转换load_dim_date，并添加“生成记录”控件、“增加序列”控件、“JavaScript代码”控件、“表输出”控件以及Hop跳连接线。 配置“生成记录控件”，双击生成记录界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年日期（10*365）；在“字段”框添加字段language（语言），country_code（国家码），initial_date（初始化日期），对生成的日期进行初始化。 配置“增加序列”控价，进入“增
2021-11-22 16:34:54
702
原创 2021-11-15
一.现有两张数据表，分别为full_source和fulltarget，其中full_source为源数据表，full_target为目标数据表，数据表Full_source和full_target，使用Kettle工具，实现将full_source中的数据全量加载到数据表full_target中。 1.使用Kettle工具创建转换full_load，并添加“执行SQL脚本”控件，“表输入控件"，“表输出控件”，以及Hop连接线。 双击执行SQL脚本控件，进入执行SQL语句界面 2.配置数据库 SQL
2021-11-15 18:12:15
72
原创 2021-11-04
1、Excel输入 首先通过Excel建立一个.xls文件，向其中输入数据。 建立转换，建立Excal输入控件。 双击Excal输入控件，点击浏览选中excel文件，点击添加。 点击工作表，输入要读取得工作列表。 点击字段选项，点击获取来自头部数据的字段 2.生成记录 建立一个转换，建立生成记录控件。 双击打开生成记录控件，填加相关字段 预览记录 3.生成随机数 建立一个转换，添加生成随机数控件 双击随机数控件添加字段 点击确定退出后进行启动 4.获取系统信息 打开Kettle建立一个
2021-11-04 19:27:50
81
原创 2021-10-20
1、对文本文件进行数据粒度转换，即将文本文件personnel_data.txt中字段household_register的数据统一成省份，并且输出到文本文档personnel_data_new.txt中。 打开Kettle工具，新建转换使用Kettle工具，创建一个转换generalization,添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。 配置文本文件输入控件，双击“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要
2021-10-20 17:55:22
93
原创 2021-10-14
1.对文件merge.csv进行完全去重 打开Kettle工具创建转换，并添加“CSV文件输入“控件、”唯一行（哈希值）“控件以及Hop跳连接线。 配置“CSV文件输入”控件，进入“CSV文件输入”界面，双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv，单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析。 单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CS
2021-10-14 23:12:55
62
原创 2021-10-10
1.相关概念 转换是ETL解决方案中重要的组成部分之一，它主要用于数据的抽取、转换以及加载等操作，其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤，例如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过跳来连接的，跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。 目前，大多数的ETL项目都需要完成各种各样的维护工作。例如，如何传送文件、验证数据库中的数据表是否存在等操作
2021-10-10 17:16:50
190
原创 2021-10-10
1.CSV文件的抽取* 打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能。 双击“CSV文件输入”控件，进入“CSV文件输入”界面；单击【浏览】按钮，选择要抽取的文件csv_extract.csv；单击【获取字段】按钮，Kettle自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。单击【预览】按钮，查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中。 双击“表输
2021-10-10 16:43:12
64
原创 第1章 数据清洗概述
1.1.1 数据清洗的背景 1.1.1 数据质量概述 数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。 数据质量的特点： （1）“业务需求”会随着时间变化，数据质量也会随时间发生变化。 （2）数据质量可以借助信息系统来度量，但独立于信息系统而存在。 （3）数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失。 1.1.2 数据质量的评价指标 数据质量评价的指标主要包括数据的准确性，完整性，简洁性和适用性，其中数据的准确性，完整性，简洁性是为了
2021-09-12 11:12:41
843
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人