肥嘟嘟左卫龙-CSDN博客

原创 8.3.7-8.3.8实例

一、加载演员数据至演员维度表打开Kettle工具，创建转换配置表输入控件配置表输入2控件配置插入/更新控件运行转换load_dim_actor查看数据表dim_actor中的数据二、加载电影数据至电影维度表配置表输入控件配置表输入2控件配置数据库查询控件配置数据库查询2控件配置值映射控件配置列拆分为多行控件配置增加常量控件配置列转行控件配置计算器控件配置数...

2021-12-11 23:38:56 223

一、加载用户数据至用户维度表使用Kettle工具，创建一个转换load_dim_customer配置表输入控件配置表输入2控件使用Kettle工具，创建一个转换fetch_address（该转换为转换load_dim_customer的子转换）配置映射输入规范控件配置数据库查询控件配置数据库查询2控件配置数据库查询3控件配置过滤记录控件配置JavaScript代码控件配置字段选择控件配置映射控件...

2021-12-11 23:24:31 198

原创第八章例子

一、加载日期数据至日期维度表新建一个转换，并添加“生成记录”、“增加序列”、“JavaScript代码”、“表输出”控件配置“生成记录”控件配置“增加序列”控件配置“javascricpt”控件配置“表输出”控件运行转换二、加载时间数据至时间维度表新建一个转换，并添加相关控件配置“生成记录”控件配置“增加序列”控件配置“JavaScript代码”控件配置生成记录2控件配置“增加序列2”控件...

2021-12-11 23:10:11 1035

原创第七章操作题

全量加载使用Kettle工具创建转换full_load配置“执行SQL脚本”控件配置“表输入”控件单击预览按钮，查看数据是否抽取到表中配置“表输出”控件运行转换增量加载使用Kettle创建转换incremental_load配置“表输入”控件编写SQL语句配置“插入/更新”控件查看数据...

2021-12-11 22:46:45 299

原创《ETL数据整合与处理》ppt压缩包中，第二章中的Excel输入，生成记录，生成随机数，获取系统信息，排序记录，去除重复记录，替换NULL值。

一、Excel输入新建一个转换，添加“Excel输入”控件，如下图所示配置“Excel输入”控件运行转换，并预览结果二、生成记录新建一个转换，并添加“生成记录”控件配置“生成记录”控件运行转换并预览结果三、生成随机数新建转换并添加“生成随机数”控件配置“生成随机数”控件预览结果数据四、获取系统信息新建一个转换，并添加“获取系统信息”控件配置“获取系统信息”控件运行转...

2021-11-22 11:44:38 230

原创第六章作业使用商务工具，对文件进行数据粒度转换以及商务规划计算

1916290141 大数据一班王多佳1.数据粒度转换使用Kettle工具创建转换，并添加“文本文件输入”控件、“表输入”控件、“字段选择”控件、“排序记录”控件、“记录集连接”控件、“表输出”控件以及Hop跳连接线，如下图所示配置“文本文件输入”控件，如下图所示配置”字段选择“控件，如下图所示配置“排序记录”控件，如下图所示配置“表输入”控件，编写SQL语句，用于查询city数据表中字段city和pid的数据，用于与personnel_data.txt文件中hou..

2021-11-08 22:50:20 598

原创第五章作业使用Kettle工具，对文件merge_csv进行完全去重，对文件people_suvey.txt中的缺失值进行填充。

1916290141 大数据一班王多佳1.对文件merge_csv进行完全去重使用Kettle工具，创建转换repeat_transform，并添加“CSV文件输入”控件，“唯一行（哈希值）”控件以及Hop连接跳线，如下图所示配置“CSV文件输入”控件，如下图所示配置“唯一行（哈希值）”控件，如下图所示运行转换，如下图所示从上图的Priview data窗口看，CSV文件中已没有完全重复的数值，说明通过Kettle工具实现了消除完全重复数据的功能。如下图...

2021-10-20 11:16:33 239

原创第四章作业通过Kettle工具，抽取csv文件和json文件至数据库extract中的数据表中。

1916290141 王多佳抽取csv文件创建一个转换csv_extract，并添加“CSV文件输入”控件和“表输出”控件以及Hop跳连接线，用于实现CSV文件数据的抽取功能，如下图所示双击上图中的“CSV文件输入”控件，进入界面，如下图所示单击“浏览”按钮，选择要抽取的文件csv_extract.csv，如下图所示单击上图的“获取字段”按钮，Kettle自动检索CSV文件，并对文件中的字段类型等属性进行分析，如下图所示单击上图中的“预览”按钮，查看文件的数据是...

2021-10-18 17:46:45 592

原创 Kettle创建转换与作业

一、创建一个转换双击kettle目录下的spoon.bat脚本，可以启动Kettle工具，在工具栏中选择“文件”-“新建”-“转换”命令，可创建一个转换，名称默认为转换一，如图1.1和图1.2所示图1.1（创建转换）图1.2（成功创建转换）在工具栏中选择“文件”-“保存”命令，可对转换进行重命名以及选择转换保存的路径，重命名转换“test”，如图1.3所示图1.3（重命名转换）在上图中，我们选择主对象树，它其中的节点用于显示当前转换的运行配置参数、数据库连接、步骤以及节点连接（..

2021-10-11 14:46:16 1268

m0_48184379的博客