ETL工具-Kettle

ETL-Kettle初识（一）

---

---

ETL介绍

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节，ETL工具很多例如：Kettle，seatunnel,DataX，StreamSets，sqoop，本文主要介绍Kettle在ETL的能力及实际使用。

一、Kettle简介

Kettle 最初是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。它在2006年被Pentaho公司收购，并且成为了Pentaho数据集成及商业智能套件的一部分，随后该工具被重新命名为Pentaho Data Integration。Kettle作为Pentaho Data Integration的一个核心组件，支持跨平台的Java开发，具有无编码、拖拽方式开发的特性，可以对接多种数据源，包括但不限于传统数据库、文件系统、大数据平台、接口和流数据等。此外，Kettle还支持将机器学习算法融入到ETL数据管道中。

二、使用步骤

1.Kettle下载安装

官网地址：https://sourceforge.net/projects/pentaho/files/
1、进入官网下载对应官方PDF文档

下载完毕解压安装即可，解压后目录如下

2.JDK安装：

Jdk安装步骤较为基础，详见如下文章，本文不做赘述，需注意JDK版本需大于等于1.8
https://blog.csdn.net/z099164/article/details/131313286

三、使用步骤

1.内存配置：

修改pdi-ce-9.1.0.0-324\目录下Spoon.bat文件，按需修改内存大小

2.mysql数据库,SqlServer相关基础数据库Jar包安装：

在pdi-ce-9.1.0.0-324\lib目录下添加mysql，SqlServerJar包

总结

以上就是Kettle环境的初始化阶段，本文只介绍基础安装，资源库安装，自定义Plugin等后续自定义安装项，将在后续文章更新