- 博客(9)
- 收藏
- 关注
RSS订阅原创 8.3.7-8.3.8实例
一、加载演员数据至演员维度表 打开Kettle工具，创建转换 配置表输入控件 配置表输入2控件 配置插入/更新控件 运行转换load_dim_actor 查看数据表dim_actor中的数据 二、加载电影数据至电影维度表 配置表输入控件 配置表输入2控件 配置数据库查询控件 配置数据库查询2控件 配置值映射控件 配置列拆分为多行控件 配置增加常量控件 配置列转行控件 配置计算器控件 配置数...
2021-12-11 23:38:56
212
原创 8.3.5-8.3.6实例
一、加载用户数据至用户维度表 使用Kettle工具，创建一个转换load_dim_customer 配置表输入控件 配置表输入2控件 使用Kettle工具，创建一个转换fetch_address（该转换为转换load_dim_customer的子转换） 配置映射输入规范控件 配置数据库查询控件 配置数据库查询2控件 配置数据库查询3控件 配置过滤记录控件 配置JavaScript代码控件 配置字段选择控件 配置映射控件...
2021-12-11 23:24:31
184
原创 第八章例子
一、加载日期数据至日期维度表 新建一个转换，并添加“生成记录”、“增加序列”、“JavaScript代码”、“表输出”控件 配置“生成记录”控件 配置“增加序列”控件 配置“javascricpt”控件 配置“表输出”控件 运行转换 二、加载时间数据至时间维度表 新建一个转换，并添加相关控件 配置“生成记录”控件 配置“增加序列”控件 配置“JavaScript代码”控件 配置生成记录2控件 配置“增加序列2”控件 ...
2021-12-11 23:10:11
1020
原创 第七章操作题
全量加载 使用Kettle工具创建转换full_load 配置“执行SQL脚本”控件 配置“表输入”控件 单击预览按钮，查看数据是否抽取到表中 配置“表输出”控件 运行转换 增量加载 使用Kettle创建转换incremental_load 配置“表输入”控件 编写SQL语句 配置“插入/更新”控件 查看数据 ...
2021-12-11 22:46:45
284
原创 《ETL数据整合与处理》ppt压缩包中，第二章中的Excel输入，生成记录，生成随机数，获取系统信息，排序记录，去除重复记录，替换NULL值。
一、Excel输入 新建一个转换，添加“Excel输入”控件，如下图所示 配置“Excel输入”控件 运行转换，并预览结果 二、生成记录 新建一个转换，并添加“生成记录”控件 配置“生成记录”控件 运行转换并预览结果 三、生成随机数 新建转换并添加“生成随机数”控件 配置“生成随机数”控件 预览结果数据 四、获取系统信息 新建一个转换，并添加“获取系统信息”控件 配置“获取系统信息”控件 运行转...
2021-11-22 11:44:38
214
原创 第六章作业 使用商务工具，对文件进行数据粒度转换以及商务规划计算
1916290141 大数据一班 王多佳 1.数据粒度转换 使用Kettle工具创建转换，并添加“文本文件输入”控件、“表输入”控件、“字段选择”控件、“排序记录”控件、“记录集连接”控件、“表输出”控件以及Hop跳连接线，如下图所示 配置“文本文件输入”控件，如下图所示 配置”字段选择“控件，如下图所示 配置“排序记录”控件，如下图所示 配置“表输入”控件，编写SQL语句，用于查询city数据表中字段city和pid的数据，用于与personnel_data.txt文件中hou..
2021-11-08 22:50:20
583
原创 第五章作业 使用Kettle工具，对文件merge_csv进行完全去重，对文件people_suvey.txt中的缺失值进行填充。
1916290141 大数据一班 王多佳 1.对文件merge_csv进行完全去重 使用Kettle工具，创建转换repeat_transform，并添加“CSV文件输入”控件，“唯一行（哈希值）”控件以及Hop连接跳线，如下图所示 配置“CSV文件输入”控件，如下图所示 配置“唯一行（哈希值）”控件，如下图所示 运行转换，如下图所示 从上图的Priview data窗口看，CSV文件中已没有完全重复的数值，说明通过Kettle工具实现了消除完全重复数据的功能。如下图...
2021-10-20 11:16:33
229
原创 第四章作业 通过Kettle工具，抽取csv文件和json文件至数据库extract中的数据表中。
1916290141 王多佳 抽取csv文件 创建一个转换csv_extract，并添加“CSV文件输入”控件和“表输出”控件以及Hop跳连接线，用于实现CSV文件数据的抽取功能，如下图所示 双击上图中的“CSV文件输入”控件，进入界面，如下图所示 单击“浏览”按钮，选择要抽取的文件csv_extract.csv，如下图所示 单击上图的“获取字段”按钮，Kettle自动检索CSV文件，并对文件中的字段类型等属性进行分析，如下图所示 单击上图中的“预览”按钮，查看文件的数据是...
2021-10-18 17:46:45
575
原创 Kettle创建转换与作业
一、创建一个转换 双击kettle目录下的spoon.bat脚本，可以启动Kettle工具，在工具栏中选择“文件”-“新建”-“转换”命令，可创建一个转换，名称默认为转换一，如图1.1和图1.2所示 图1.1（创建转换） 图1.2（成功创建转换） 在工具栏中选择“文件”-“保存”命令，可对转换进行重命名以及选择转换保存的路径，重命名转换“test”，如图1.3所示 图1.3（重命名转换） 在上图中，我们选择主对象树，它其中的节点用于显示当前转换的运行配置参数、数据库连接、步骤以及节点连接（..
2021-10-11 14:46:16
1206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人