![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
文章平均质量分 64
xxh000111
这个作者很懒,什么都没留下…
展开
-
kettle实现数据先加载
一、加载用户数据至用户维度表 1.打开kettle创建一个新的转换并命名,添加控件“表输入”(两个)、“映射(子转换)”、“字段选择”、“值映射”、“维度查询/更新”。并建立Hop跳连接线。 2.双击“表输入”控件,点击“新建”建立数据库连接,配置如下图,并输入获取字段的代码,代码如下,点击浏览查看是否获取成功。 3.双击“表输入2” ,新建数据库连接,配置完成后输入代码获取字段,并查看字段是否获取成功。 4.新建一个子转换并命名,并按下图添加控件。 5....原创 2021-11-16 20:12:06 · 172 阅读 · 0 评论 -
ETL数据准备阶段
一:加日期数据至日期维度表 1.打开kettle工具创建日期转换load_dim_date ->添加生成记录控件 ->增加序列控件 ->JAVAScript代码控件 ->表输出控件 ->hop连接线,效果如图所示 2.配置生成记录控件->进入此页面,效果如图所示 3.限制处添加生成的日期,默认为10,改为3650,生成十年的日期->在字段框添加字段language(语言),country_code(国家码),initial_date(初始化日期),对.原创 2021-11-16 17:43:38 · 183 阅读 · 0 评论 -
kettle实现数据清洗
一:Excel的输入 1.把即将要处理的文件保存到Excel表中->打开kettle ->创建转换 ->创建Excel输入控件.效果如图所示 2.双击Excel输入控件 -> 单机浏览 -> 选择所需要处理的Excel表 -> 单机添加 ->点击工作表完成配置 -> 点击获取字段如下图->点击确定完成配置 3.点击预览看是否导入成功 4.运行并查看数据 二:生成记录 1.打开 kettle,创建转换->创...原创 2021-10-28 16:38:17 · 4831 阅读 · 0 评论 -
数据的清洗和检验(完全去重,缺失值的填充)
一:完全去重 1.打开kettle工具,新建转换 -> 创建CSV文件输入控件 -> 1唯一行(哈希值)控件 -> 跳连接线 2.配置CSV文件输入控件 -> 进入CSV文件控制页面,如图所示 3.点击浏览 -> 选择完去重的文件merge.csv 4.点击获取字段,效果如图所示 5.点击预览,效果如图所示 6.点击确定按钮,完成CSV输入控件的配置 7.配置唯一行(哈希值)控件 -> 进入唯一行(哈希值)界面 8.点击获取按钮获取需要去.原创 2021-10-13 11:43:36 · 743 阅读 · 0 评论