![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据清洗
文章平均质量分 92
兰州李大头
这个作者很懒,什么都没留下…
展开
-
数据清洗第八章—例子3
目录一、加载演员数据至演员维度表1、打开kettle工具,创建load_dim_actor转换2、配置“表输入”控件3、配置“表输入2”控件4、配置“插入/更新”控件5、运行转换load_dim_actor二、加载电影数据至电影维度表1、打开kettle工具,创建load_dim_film转换2、配置“表输入”控件3、配置“表输入2”控件4、配置“数据库查询”控件5、配置“数据库查询2”控件6、配置“值映射”控件7、配置“列拆分为多行”控件..原创 2021-11-22 23:02:00 · 311 阅读 · 0 评论 -
数据清洗第八章—例子2
目录一、加载用户数据至用户维度表1、打开kettle工具,创建load_dim_customer转换2、配置“表输入”控件3、配置“表输入2”控件4、打开kettle工具,创建fetch_address转换5、配置“映射输入规范”控件6、配置“数据库查询”控件双击进入该控件首先配置数据库连接,连接完成后单击表名右侧的“浏览”按钮,添加数据表address;在“查询所需的关键字”框中添加查询所需的关键字字段address_id,由于该字段是唯一的,因此可作为数据表addr.原创 2021-11-20 16:27:38 · 245 阅读 · 0 评论 -
数据清洗第八章—例子
目录一、加载日期数据至日期维度表1、打开kettle工具,创建load_dim_date转换2、配置“生成记录”控件3、配置“增加序列”控件4、配置“JavaScript代码”控件5、配置“表输出”控件6、运行转换load_dim_date7、查看维度表dim_date中的数据二、加载时间数据至时间维度表1、打开kettle工具,创建load_dim_time转换2、配置“生成记录”控件3、配置“增加序列”控件4、配置“JavaScript代码”...原创 2021-11-19 23:52:23 · 369 阅读 · 0 评论 -
数据第七章—课后操作题
目录一.通过使用kettle工具,实现将数据表full_source中的数据全量加载到数据表full_target中。1.打开kettle工具,创建转换2.配置“执行SQL脚本”控件3.配置“表输入”控件4.配置“表输出”控件5.运行转换full_load6.查看数据表full_target中的数据二.通过使用kettle工具,实现将数据表incremental_source中的数据增量加载到数据表incremental_target中,即将数据表incremental_原创 2021-11-15 16:35:16 · 149 阅读 · 0 评论 -
数据清洗七个例子
目录一、Excel输入1、打开kettle工具,创建转换2、配置“Excel输入”控件二.生成记录1、打开kettle工具,创建“生成记录”转换2、配置“生成记录”控件三、生成随机数1、打开kettle工具,创建转换2、配置“生成随机数”控件四、获取系统信息1、打开kettle工具,创建转换2、配置“获取系统信息”控件五、排序记录1、打开kettle工具,创建转换2、配置“排序记录”控件六、去除重复记录1、...原创 2021-11-05 17:46:34 · 1168 阅读 · 0 评论 -
数据清洗第六章—课后操作题
目录一、对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份,并输出到文本文件personnle_data_new.txt中。1、打开Kettle工具,新建转换2、配置文本文件输入控件3、配置字段选择控件4、配置排序记录控件5、配置表输入控件6 、配置排序记录2控件7、配置记录集连接控件8、配置字段选择2控件9、配置排序记录3控件..原创 2021-11-05 09:31:22 · 1331 阅读 · 0 评论 -
数据清洗第五章—文件的去重与填充
一、对文件merge.csv进行完全去重1、打开Kettle工具,新建转换使用Kettle工具创建转换repeat.transform,并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop跳连接线2、配置“CSV文件输入”控件,进入“CSV文件输入”界面双击“CSV文件输入”控件,进入“CSV文件输入”界面单击“浏览”按钮,选择要进行完全去重处理的CSV文件merge.csv单击“获取字段”按钮Kettle会自动检索CSV文件,并对文件中的字型、格式、长度精度等...原创 2021-10-19 20:59:05 · 502 阅读 · 0 评论