- 博客(10)
- 收藏
- 关注
RSS订阅原创 kettle案例-数据仓库
一.加载演员数据至演员维度表首先准备好actor数据表和空表dim_actor：1.打开kettle工具，创建load_dim_actor转换2.配置“表输入”控件首先单击“新建”配置数据库连接，配置完成后在SQL输入框中输入以下语句：selectcoalesce(max(actor_last_update),"1970-01-01 00:00:00")as max_dim_actor_last_updatefrom dim_actor;单击“预览”按钮查看字段，如下图所示：3..
2021-11-20 10:38:37
2225
原创 kettle案例
一.加载用户数据至用户维度表1.打开kettle工具，创建load_dim_customer转换2.配置“表输入”控件首先配置数据库连接，连接完成后在SQL语句编写框中编写如下SQL语句：selectcoalesce(max(customer_last_update),"1970-01-01 00:00:00")as max_dim_customer_last_updatefrom dim_customer;编写完成后可以单击“预览”按钮查看：3.配置“表输入2”控件首先配置数.
2021-11-17 21:08:28
1365
原创 kettle案例-数据仓库
一.加载日期数据至日期维度表1.打开kettle工具，创建load_dim_date转换2.配置“生成记录”控件双击“生成记录”控件，进入“生成记录”界面，在“限制”处添加生成的日期，默认为10，这里改为3650，即生成10年的日期（10*365）；在“字段”框添加字段language、country_code、initial_date，对生成的日期进行初始化，然后单击“确定”按钮，完成配置，如下图所示：3.配置“增加序列”控件在该控件中“值的名称”处将valuename改为DaySequen.
2021-11-17 20:53:55
1432
1
原创 数据转换实例
现有一个文本文件personnel_data.txt，包含字段id、name、id_number、household_register和salary。通过kettle工具，实现以下功能：一.对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnle_data_new.txt中。1.打开Kettle工具，新建转换2.配置文本文件输入控件.
2021-11-17 20:16:19
446
原创 数据加载实例(七）
一.通过使用kettle工具，实现将数据表full_source中的数据全量加载到数据表full_target中。1.打开kettle工具，创建转换2.配置“执行SQL脚本”控件（1）单击“新建”按钮，配置数据库连接（需要提前创建好数据库和full_source以及full_target两张数据表），配置完成后单击“确认”按钮。（2）在SQL框中编写删除数据表full_target中数据的SQL语句，然后单击“确定”按钮完成配置，如下图所示：3.配置“表输入”控件在SQL编写框中编写查..
2021-11-17 19:48:34
76
原创 数据的清洗与检验
一.不完全去重1.打开kettle工具，创建转换2.配置“文本文件输入”控件（1）双击“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择要去重的文件people.txt，单击“增加”按钮，将要去重的文件people.txt添加到转换part_repeat_transform，如下图所示：2）单击“内容”选项卡，切换到“内容”选项卡界面，清除分隔符处的默认分隔符“；”，并单击Insert TAB按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框，若不取消，则在进.
2021-11-17 19:41:49
257
原创 使用kettle工具实现一个csv文件的完全去重和一个txt文件的缺失值填充
一. 对文件merge.csv进行完全去重1.数据准备合并后的用户名单存放在CSV文件merge.csv中，如下图所示：2.打开kettle工具，新建转换使用kettle工具创建转换repeat_transform，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，如下图所示：3.配置“csv文件输入”控件（1）双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv，如下图所示：.
2021-11-15 14:55:58
669
原创 利用kettle抽取CSV文件和json文件
一、抽取CSV文件1、使用kettle工具创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，用于实现CSV文件数据的抽取功能，具体效果如下图所示：2.配置“CSV文件输入”控件（1）单击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要抽取的文件csv_extract.csv，如下图所示：（2）单击“获取字段”和“预览”按钮，查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中，如下图所示：.
2021-11-15 14:44:40
855
原创 kettle的转换和作业实例
目录一、kettle转换示例一、kettle转换示例 1、打开kettle文件夹下的spoon.bat脚本（spoon.sh是Linux系统下的），当启动kettle工具，在工具栏处选择：文件新建转换，会创建一个转换，默认为转换1。可以修改转换名称，在工具栏：文件保持，可以对文件进行保存及重命名。当然也可以在主对象数一栏对转换点击右键，点击设置可以更改转换名称。如图：更改名称后点击确定就OK了。 2、创建表输入以及表输出空间，同时选中两者点击右键在快...
2021-10-11 22:05:18
2176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人