2021-09-08

最新推荐文章于 2022-03-24 20:06:42 发布
最新推荐文章于 2022-03-24 20:06:42 发布
阅读量153 收藏
点赞数
分类专栏： 数据清洗读书笔记 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guyanxi/article/details/120967526
版权

1. 实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。

（1）打开Kettle工具，新建转换 使用Kettle工具，创建一个转换generalization，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线，具体效果如图所示。

在这里插入图片描述

（2）配置文本文件输入控件
双击图6-1中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization转换中。
在这里插入图片描述

单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图所示。
在这里插入图片描述

单击“字段”选项卡，根据personnel_data.txt文件的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图所示。
在这里插入图片描述

单击【确定】按钮，完成“文本文件输入”控件的配置。
（3）配置字段选择控件
双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图所示。
图6-5 添加字段

单击【确定】按钮，完成“字段选择”控件的配置。
（4）配置排序记录控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序，具体如图所示。
图6-6 配置“排序记录”控件

单击【确定】按钮，完成“排序记录”控件的配置。
（5）配置表输入控件
双击图6-1中的“表输入”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。
在这里插入图片描述

在图6-75中的SQL框中编写SQL语句，用于查询city数据表（注：该表需提前创建，读者执行本书提供的data.sql脚本文件可生成city数据表）中字段city和pid的数据，用于与personnel_data.txt文件中household_register字段进行合并连接，具体如图所示。
在这里插入图片描述单击【确定】按钮，完成“表输入”控件的配置。
（6）配置排序记录2控件
双击图6-1中的“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序，具体如图所示。
在这里插入图片描述
单击【确定】按钮，完成“排序记录2”控件的配置。
（7）配置记录集连接控件
双击图6-1中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是household_register和city；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图所示。

图6-11 配置记录集连接控件
单击【确定】按钮，完成记录集连接控件的配置。
（8）配置字段选择2控件
双击图6-1中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接流中的字段household_register和pid，具体如图所示。图6-12 添加字段

单击【确定】按钮，完成“字段选择2”控件的配置。
（9）配置排序记录3控件
双击图6-1中的“排序记录 3”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图所示。

图6-13 配置“排序记录3”控件

单击【确定】按钮，完成排序记录3控件的配置。
（10）配置表输入2控件
双击图6-1中的“表输入2”控件，进入“表输入2”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，
在图6-14中的SQL框中编写SQL语句，用于查询provincial数据表（注：该表需提前创建，读者执行本书提供的data.sql脚本文件可生成provincial数据表）中字段Provincial和pid的数据，用于与household_register字段进行合并连接，具体如图所示。
在这里插入图片描述

在图6-16中，单击【确定】按钮，完成“表输入2”控件的配置。
（11）配置排序记录4控件
双击“排序记录 4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图所示。
在这里插入图片描述

单击【确定】按钮，完成“排序记录4”控件的配置。
（12）配置记录集连接2控件
双击图6-1中的“记录集连接2”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录3”，“第二个步骤”处的下拉框中选择“排序记录4”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是pid；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图6-18所示。
在这里插入图片描述

单击【确定】按钮，完成“记录集连接2”控件的配置。
（13）配置字段选择3控件
双击图6-1中的“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接2流中的字段household_register和Provincial，具体如图所示。
图6-19 添加字段

单击【确定】按钮，完成“字段选择3”控件的配置。
（14）配置表输出控件
双击“表输出”控件，进入“表输出”配置界面单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。
在这里插入图片描述

单击目标表右侧的【浏览】按钮，选择输出的目标表，即临时数据表personnel；勾选“指定数据库字段”的复选框单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，具体如图所示。
在这里插入图片描述
在这里插入图片描述

单击【确定】按钮，完成“表输出”控件的配置。

（15）打开Kettle工具，新建转换
使用Kettle工具，创建一个转换generalization_merge，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线，具体效果如图所示。

图6-25 创建转换generalization_merge

（16）配置表输入控件
双击图“表输入”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图所示。
在这里插入图片描述

编写SQL语句，用于查询数据表personnel中的数据，具体如图所示。
在这里插入图片描述
单击【确定】按钮，完成“表输入”控件的配置。
（17）配置字段选择控件
双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图所示。
在这里插入图片描述

单击【确定】按钮，完成“字段选择”控件的配置。
（18）配置排序记录控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序，具体如图所示。

图6-30 配置“排序记录”控件
单击【确定】按钮，完成“排序记录”控件的配置。
（19）配置文本文件输入控件
双击图中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization_merge转换中。
在这里插入图片描述
单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。
在这里插入图片描述

在图6-32中，单击“字段”选项卡，根据文本文件personnel_data.txt的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“文本文件输入”控件的配置。
（20）配置字段选择2控件
双击“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图所示。
在这里插入图片描述
单击【确定】按钮，完成“字段选择”控件的配置。
（21）配置排序记录2控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序，具体如图所示。
在这里插入图片描述单击【确定】按钮，完成“排序记录2”控件的配置。
（22）配置记录集连接控件
双击“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图所示。
在这里插入图片描述单击【确定】按钮，完成“记录集连接”控件的配置。
（23）配置字段选择3控件
双击“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register，具体如图所示。
在这里插入图片描述
单击【确定】按钮，完成“字段选择3”控件的配置。
（24）配置文本文件输出控件
双击图6-25中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_new，如图所示；
在这里插入图片描述
单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码，如图所示；
在这里插入图片描述

单击“字段”选项卡，进入“字段”界面，添加要输出的字段，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“文本文件输出”控件的配置。
（25）打开Kettle工具，新建作业
使用Kettle工具，创建一个作业generalization，并添加Start控件、转换控件、成功控件以及Hop作业项连接线，具体效果如图所示。
![在这里插入图片描述](https://img-blog.csdnimg.cn/48bcfff0c341490f816e6419f0429af8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAZ3V5YW54aQ==,size_20,color_FFFFFF,t_70,g_se,x_16

（26）配置转换控件
双击图6-41中的“转换”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换generalization，具体如图所示。
在这里插入图片描述

单击【确定】按钮，完成“转换”控件的配置。
（27）配置转换2控件
双击“转换2”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换generalization_merge，具体如图所示。
在这里插入图片描述
单击【确定】按钮，完成“转换2”控件的配置。
（28）运行作业generalization
单击作业工作区顶部的 按钮，运行作业generalization，实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。运行作业generalization的效果如图所示。
在这里插入图片描述

（29）查看文本文件personnel_data_new.txt中的数据

通过文本编辑器工具，查看文本文件personnel_data_new.txt中的数据，查看结果如图所示。
在这里插入图片描述

2. 对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。

（1）打开Kettle工具，新建转换
使用Kettle工具，创建一个转换monthly_salary，并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线，具体效果如图所示。
在这里插入图片描述

（2）配置文本文件输入控件
双击图“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data_new.txt文件；单击【增加】按钮，将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中。
![在这里插入图片描述](https://img-blog.csdnimg.cn/6ce443254d9a4c52bdcf0989a0553bae.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAZ3V5YW54aQ==,size_19,color_FFFFFF,t_70,g_se,x_16

单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符。“内容”选项卡的配置具体效果如图所示。
在这里插入图片描述
单击“字段”选项卡，根据personnel_data_new.txt文件的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“文本文件输入”控件的配置。
（3）配置增加常量控件
双击图6-46中的“增加常量”控件，进入“增加常量”界面，在字段框中添加一个字段days，并给定一个值22。增加常量控件的配置，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“增加常量”控件的配置。
（4）配置计算器控件
双击图6-46中的“计算器”控件，进入“计算器”界面，在字段框中添加一个字段monthly_salary，用于存储月薪，该字段是由字段days和salary进行相乘所得。计算器控件的配置，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“计算器”控件的配置。
（5）配置文本文件输出控件
双击图6-46中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_monthly_salary，如图所示；
在这里插入图片描述
单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符，并在编码处的下拉框选择“UTF-8”编码，如图所示；
在这里插入图片描述
单击“字段”选项卡，进入“字段”界面，添加要输出的字段，如图所示。
在这里插入图片描述
单击【确定】按钮，完成“文本文件输出”控件的配置。
（6）运行转换monthly_salary
单击转换工作区顶部的 按钮，运行转换monthly_salary，实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。
在这里插入图片描述

（7）查看文本文件personnel_data_monthly_salary.txt中的数据
通过文本编辑器工具，查看文本文件personnel_data_monthly_salary.txt中的数据，查看结果如图所示。
在这里插入图片描述
文本文件personnel_data_monthly_salary.txt中字段为monthly_salary存储着月薪。

guyanxi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
智能运营，智赢未来(2021)[2021-09-08]（43页）.pdf
05-26
智能运营，智赢未来(2021)[2021-09-08]（43页）.pdf
ETL课后题
weixin_56309735的博客
11-24 758
课本课后题案例实践
Kettle数据转换
blessings_的博客
10-20 5008
目录 1.数据粒度的转换 2.数据的商务规则计算 数据准备：本文章使用的数据来自一个名为personnel_data.txt的文本文档，其内容如下图所示，本次将对该文件进行数据粒度的转换以及数据的商务规则计算 1.数据粒度的转换 （1）创建转换 使用Kettle工具，创建一个转换，并添加文本文件输入控件、字段选择控件、排序记录控件、记录集连接控件、过滤控件、空操作控件、文本文件输出控件以及Hop跳连接线，具体如图所示： （2）配置“文本文件输入”控件 双击“文本文件输入”控件
数据清洗黑马程序员第六章数据转换——阅读笔记
m0_53823329的博客
10-24 1443
6.1多数据源的合并 随着信息技术的发展和科技的进步，人类步入了大数据时代，大数据作为当前高科技时代的产物，它的种类多而繁杂。如果想要得到需要的数据，则这些需要的数据有可能来源于多个不同的数据源中，此时，我们可以将多个数据源进行合并操作，从而获取到所需要的数据。 案例实现 数据准备 假设，某公司旗下有两个子公司，分别为A公司和B公司，且这两个子公司均在销售手机，其中A公司的手机日销售情况存储在CSV文件中，即文件company_a.csv；B公司的手机日销售情况存储在数据库的数据表中，即数据表co.
数据转换操作题
m0_48883053的博客
10-18 233
一.实 现 对 文 本 文 件personnel_data.txt中 的 数 据 进 行 数 据 粒 度 的 转 换 ，即 将 文 本 文 件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。 1.打开Kettle工具，新建转换使用Kettle工具，创建一个转换generalization 添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及H
数据统计颗粒度
Arqui Standard
02-27 6346
WBS按照“系统-模块-画面 ”逐层分解，然后制作。相应发生工作量的统计分析时机，应该按照当时所处开发阶段而视。如果项目只有部分模块制作完毕，当即按照画面对该模块完成情况进行统计分析。重点在于数据收集及时、排除杂音、合理分析、安排解决措施。当大部分模块制作完毕，该是对整个项目有个说法的时候了。此时便是依照大的模块报告数据，为下一次开发作准备。
Demo-2021-08-04-09-29
04-08
GithubDemo 项目更新 Github演示。 如果您想了解更多信息，请查看 GitHub培训 我的GitHub培训课程列表 （第6小时） （16小时）
Barron's - 09.08.2021.pdf
08-15
Barron's - 09.08.2021
kk 2021-06-08 09-53-24.mp4
06-08
91谷歌视频设置
wordpress主题：FLATSOME V3.14.2 【2021最新版】2021-08-09更新.zip
08-09
wordpress主题：FLATSOME V3.14.2
数据仓库中粒度的划分
04-18
数据仓库粒度的划分，如何对数据仓库中数据粒度进行划分
wordpress主题：IMPREZA V8.1 【2021年最新版】2021-08-09更新.zip
08-09
wordpress主题：IMPREZA V8.1
wordpress主题：BRIDGE V27.4 【2021年最新版】2021-08-09更新.zip
08-09
wordpress主题：BRIDGE V27.4
2021-2022收藏资料多媒体技术08DCT与JPEG编码.doc
09-25
2021年09月16日
wordpress主题：THE7 V9.15.01 【2021年最新版】2021-08-09更新.zip
08-09
wordpress主题：THE7 V9.15.01
数据表字段命名规则_重命名数据透视表值字段
culiao2169的博客
08-09 1477
数据表字段命名规则 重命名数据透视表值字段 (Renaming a Pivot Table Value Field)When you add a field to the pivot table Values area, it's automatically given a custom name, such as Sum of Units. 当您将字段添加到数据透视表的“值”区域时，系统会自动...
数据仓库中的数据粒度
热门推荐
wobuwei的专栏
07-07 1万+
 转自：http://articles.e-works.net.cn/BI/Article61872.htm 数据分析在决策支持及趋势分析中发挥着重要的作用。通常数据仓库中包含大量数据表，如何在软硬件资源确定的情况下，正确划分数据粒度，确保数据满足客户的决策分析需求，成了数据仓库逻辑设计的一个重要方面。1 确定数据粒度的基本准则     数据粒度是指数据仓库中保存数据的细化或综合程度。数据仓库中包含大量数据表，这些数据表中的数据以什么粒度来存储，会对信息系统的多方面产生影响。在做 数据仓库设计时，设计
kettle数据脱敏
qq_44381427的博客
03-24 1469
利用Janino计算Java表达式 lxdh.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2") 利用javascript function noPassByName(str){ if(null != str && str != undefined){ if(str.length==2){ return str.substring(0,1)+'*' //截取name 字符串截取第一个字符，
数据仓库的粒度(原创)
czmmiao的专栏
03-05 1546
概述粒度问题是设计数据仓库的一个最重要方面。粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。数据的粒度一直是一个设计问题。数据仓库环境中粒度之所以是主要的设计问题，是因为它深深地影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答的查询类型。粒度的大小需要数据仓库在设计时在数据量大小与查询的详细程度之间作出权衡。...
id uid exam_id start_time submit_time score 1 1001 9001 2021-09-01 09:01:01 2021-09-01 09:51:01 78 2 1001 9002 2021-09-01 09:01:01 2021-09-01 09:31:00 81 3 1002 9002 2021-09-01 12:01:01 2021-09-01 12:31:01 81 4 1003 9001 2021-09-01 19:01:01 2021-09-01 19:59:01 86 5 1003 9002 2021-09-01 12:01:01 2021-09-01 12:31:51 89 6 1004 9002 2021-09-01 19:01:01 2021-09-01 19:30:01 85 7 1005 9001 2021-09-01 12:01:01 2021-09-01 12:31:02 85 8 1006 9001 2021-09-07 10:01:01 2021-09-07 10:21:01 84 9 1003 9001 2021-09-08 12:01:01 2021-09-08 12:11:01 40 10 1003 9002 2021-09-01 14:01:01 (NULL) (NULL) 11 1005 9001 2021-09-01 14:01:01 (NULL) (NULL) 12 1003 9003 2021-09-08 15:01:01 (NULL) (NULL) sql求时间差
最新发布
07-25
您可以使用 SQL 中的函数来计算时间差。假设您想要计算 start_time 和 submit_time 之间的时间差，可以使用以下语句： ```sql SELECT id, uid, exam_id, start_time, submit_time, score, EXTRACT(EPOCH FROM ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值