自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 第六章课后操作题

现有文本文件personnel_data.txt,包含字段id、name、id_number、household_register和salary。通过Kettle工具实现以下功能。(1)实现对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。答:实现如下:1.打开Kettle工具,新建转换

2021-11-20 21:40:58 200

原创 第八章例子8.3.7、8.3.8

1.例子8.3.7通过Kettle工具加载演员数据至演员维度表dim_actor。(1)打开Kettle工具,创建转换使用Kettle工具,创建一个转换load_dim_actor,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示。(2)配置表输入控件(3)配置表输入2控件(4)配置插入/更新控件(5)运行转换load_dim_actor(6)查看数据表dim_actor中的数据2.例子8.3.8通过Kettle工具加载电影数据

2021-11-19 22:23:19 596

原创 第八章例子8.3.5、8.3.6

1.例子8.3.5通过Kettle工具加载用户数据至用户维度表dim_customer。(1)打开Kettle工具,创建转换使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。(2)配置表输入控件(3)配置表输入2控件(4)打开Kettle工具,新建转换使用Kettle工具,创建一个转换fetch_address(该转换为转换load_dim_c

2021-11-19 22:04:42 1148

原创 第八章 8.3.2 8.3.3 8.3.4 例子实现

1.例子8.3.2通过Kettle工具加载日期数据至dim_date日期维度表。(1)打开Kettle工具,创建转换,使用Kettle工具,创建一个转换load_dim_date,并添加生成记录控件、增加序列控件、JavaScript代码控件、表输出控件以及Hop跳连接线,具体如图所示。(2)配置生成记录控件双击“生成记录”控件,进入“生成记录”配置界面。在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年的日期(10*365);在“字段”框添加字段language

2021-11-19 21:39:55 747

原创 第七章操作题

1.现有两张数据表,分别为full_source和full_target,其中full_source为源数据表,full_target为目标数据表。数据表full_source和full_target,通过Kettle工具,实现将数据表full_source中的数据全量加载到数据表full_target.(1)打开Kettle工具,创建转换使用Kettle工具,创建一个转换full_load,并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线,具体如图所示。(2)配置执行S.

2021-11-19 17:02:33 49

原创 操作题(第二章的六个例子)

(1)Excel输入1.创建一个新的转换,单击【核心对象】选项卡,展开【输入】对象,选中【Excel输入】组件,并拖曳拖曳到右边工作区中2.配置Excel输入控件完成。(2)生成记录1.创建【生成记录】转换工程,单击【核心对象】选项卡,展开【输入】对象,选中【生成记录】组件,并拖曳到右边工作区中2.配置生成记录控件完成。(3)生成随机数1.创建【生成随机数】转换工程,单击【核心对象】选项卡,展开【输入】对象,选中【生...

2021-11-19 15:33:30 190

原创 第五章课后操作题

通过Kettle工具,实现以下功能:(1)对文件merge.csv进行完全去重。1.打开Kettle工具,创建转换通过使用Kettle工具,创建一个转换repeat_transform,并添加“CSV文件输入”控件、“唯一行(哈希值)”控件以及Hop跳连接线,具体如图所示。2.配置CSV文件输入控件双击“CSV文件输入”控件,进入“CSV文件输入”配置界面,具体如图所示。单击“浏览”按钮,选择要进行完全去重处理的CSV文件merge.csv;再单击“获取字段”按钮,Kettle会自.

2021-10-18 15:28:11 214

原创 第四章习题以及总结

本章习题一、填空题CSV文件 表格 逗号 文档 标签 JSON二、判断题× × √ √ ×三、选择题1.B 2.D 3.B四、操作题通过Kettle工具,实现以下功能:(1)抽取CSV文件csv_extract.csv中的数据保存至数据库extract中的数据表csv中。1.提前在MYSQL中创建extract数据库,并且在该数据库中创建csv数据表,如图(2)抽取JSON文件json_extract.js中的数据保存至数据库extract中的数据表.

2021-10-10 12:20:30 188

原创 转换与作业

一、Kettle的基本概念 一个数据抽取过程主要包括创建一个作业,并且每个作业可以包括多个转换操作。此数据抽取过程可通过Kettle工具完成,也可以通过编写程序调用的方式实现。Kettle工具的执行分为两个层次,即转换和作业,这两个层次最主要的区别在于数据传递和执行方式。1.1转换转换是ETL解决方案中重要的组成部分之一,主要用于数据的抽取、转换以及加载等操作,其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤,如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。.

2021-09-17 16:16:54 578

原创 第一章 数据清洗概述(知识点总结)

2021-09-12 10:59:05 2187

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除