开源ETL工具Kettle(PDI)开发（一）认识Kettle及源码部署

最新推荐文章于 2024-04-05 09:53:15 发布

dzhlch

最新推荐文章于 2024-04-05 09:53:15 发布

阅读量2.3k

点赞数 1

本文链接：https://blog.csdn.net/dzhlch/article/details/117391586

版权

一、ETL是什么？

1.ETL简介

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI（商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值）项目重要的一个环节。通常情况下，ETL设计的好坏直接关接到BI项目的成败，在BI项目中ETL会花掉整个项目至少1/3的时间。

E:Extract 数据的抽取；

T:Transform 数据的清洗转换

L:Load 速度的加载

2. ETL 与ELT

ETL所描述的过程，一般常见的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。通常越大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，越偏向使用ELT，以便运用目的端数据库的平行处理能力。

更详细参考《ETL的基础知识，看完你就全明白了！》

二、认识Kettle

1. 发展历程

Kettle是一个Java编写的ETL工具，主作者是Matt Casters，2003年就开始了这个项目，。
2005年12月，Kettle从2.1版本开始进入了开源领域，一直到4.1版本遵守LGPL协议，从4.2版本开始遵守Apache Licence 2.0协议。
Kettle在2006年初加入了开源的BI公司Pentaho, 正式命名为：Pentaho Data Integeration，简称“PDI”。
自2017年9月20日起，Pentaho已经被合并于日立集团下的新公司： Hitachi Vantara。

2.架构设计

Kettle是一个组件化的集成系统，包括如下几个主要部分：
1.Spoon：图形化界面工具(GUI方式)，Spoon允许你通过图形界面来设计Job和Transformation，可以保存为文件或者保存在数据库中。
也可以直接在Spoon图形化界面中运行Job和Transformation，
2.Pan：Transformation执行器(命令行方式)，Pan用于在终端执行Transformation，没有图形界面。
3.Kitchen：Job执行器(命令行方式)，Kitchen用于在终端执行Job，没有图形界面。
4.Carte：嵌入式Web服务，用于远程执行Job或Transformation，Kettle通过Carte建立集群。
5.Encr：Kettle用于字符串加密的命令行工具，如：对在Job或Transformation中定义的数据库连接参数进行加密。