- 博客(9)
- 收藏
- 关注
RSS订阅原创 数据清洗（8.3.7-8.3.8）
8.3.7 加载演员数据至演员维度表1.打开Kettle工具，创建转换，load_dim_actor，并添加“表输入”控件、“插入/更新”控件以及Hop跳连接线。2.配置“表输入”控件，点击“表输入”控件，进入“表输入”界面，，单击新建按钮，配置数据库连接，配置完成后单击“确认”按钮。在SQL框编写SQL语句，用于获取字段actor_last_update中的最大值，将该值替换为1970-01-01, 00:00:00并赋值给临时字段max_dim_actor_last_update；单击
2021-11-17 19:33:51
127
原创 数据清洗（8.3.5-8.3.6）
1.打开Kettle工具创建转换load_dim_customer，并添加“表输出”控件、“映射（子转换）”控价、“字段选择”控件、值映射控件、“维度查询/更新”控件，以及Hop跳连接线。2.配置“表输入”控件，进入“表输入”界面单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮。在SQL数据框中编写用于获取字段customer_last_update中的最大值，将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_customer_last_uoda
2021-11-17 19:16:18
142
原创 第八章数据仓库
一、加载日期数据至日期维度表1.打开Kettle工具创建转换load_dim_date，并添加“生成记录”控件、“增加序列”控件、“JavaScript代码”控件、“表输出”控件以及Hop跳连接线。2.配置“生成记录控件”，双击生成记录界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年日期（10*365）；在“字段”框添加字段language（语言），country_code（国家码），initial_date（初始化日期），对生成的日期进行初始化。3.配置“增加序列”控
2021-11-17 18:55:14
72
原创 数据加载实例
一.通过使用kettle工具，实现将数据表full_source中的数据全量加载到数据表full_target中。1.打开kettle工具，创建转换2.配置“执行SQL脚本”控件（1）单击“新建”按钮，配置数据库连接（需要提前创建好数据库和full_source以及full_target两张数据表），配置完成后单击“确认”按钮。（2）在SQL框中编写删除数据表full_target中数据的SQL语句，然后单击“确定”按钮完成配置，如下图所示：3.配置“表输入”控件在SQL编写框中编写查
2021-11-04 11:05:46
79
原创 源数据获取
一.Excel输入1.打开kettle工具，创建转换2.配置“Excel输入”控件（1）双击“Excel输入”组件，弹出“Excel输入”对话框，浏览导入Excel文件。单击“浏览(B)…”按钮，在计算机上浏览并导入“物理成绩.xls”文件；添加并编辑Excel文件，单击“增加”按钮，将浏览导入至“文件或目录”输入框中：（2）单击“工作表”选项卡，设置选中的工作表参数。单击“确定”按钮，将“你的选择”列表选中的“Sheet1”工作表添加至“要读取的工作表列表”表中进行参数设置，“起始行”和“起
2021-11-04 11:00:27
228
原创 数据转换实例
现有一个文本文件personnel_data.txt，包含字段id、name、id_number、household_register和salary。通过kettle工具，实现以下功能：一.对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnle_data_new.txt中。1.打开Kettle工具，新建转换2.配置文本文件输入控件（1）
2021-11-04 10:47:11
482
2
原创 使用kettle工具实现一个csv文件的完全去重和一个txt文件的缺失值填充
一. 对文件merge.csv进行完全去重1.数据准备合并后的用户名单存放在CSV文件merge.csv中，如下图所示：2.打开kettle工具，新建转换使用kettle工具创建转换repeat_transform，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，如下图所示：3.配置“csv文件输入”控件（1）双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv，如下图所示：..
2021-11-04 10:25:49
279
原创 用kettle实现csv和json文件的抽取
首先准备好一个CSV文件csv_extract.csv如下图所示：1.打开kettle工具，创建转换使用kettle工具创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，用于实现CSV文件数据的抽取功能如下图所示：1）单击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要抽取的文件csv_extract.csv，如下图所示：2）单击“获取字段”按钮，kettle自动检索CSV文件，并对文件中的字段类型、格式、长度、..
2021-11-04 10:08:16
493
原创 用kettle实现一个转换和一个作业
1. 数据准备 创建一个数据库personal，并在该数据库中创建两张数据表，即数据表personal_a和数据表personal_b，如下图所示：2.打开kettle工具，创建转换 通过使用kettle工具创建一个转换field_sitching，并添加“表输入”控件、“javaScript代码”控件、“插入/更新”控件以及跳连接线，如下图所:3.配置“表输入”控件 双击“表输入”控件，进入“表输入”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮，m...
2021-11-02 18:47:36
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人