开源ETL工具Kettle(PDI)开发使用全指导(持续更新...最后更新时间20200416)

最新推荐文章于 2024-07-24 15:17:05 发布
最新推荐文章于 2024-07-24 15:17:05 发布
阅读量6.6k 收藏 18
点赞数 1
分类专栏： Kettle 文章标签： PDI Kettle ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45883933/article/details/105534107
版权

Pentaho Data Integration-Kettle

0. 概念特性

PDI(Kettle)使用开创性的元数据驱动方法，提供强大的提取、转换和加载(ETL)功能。

PDI(Kettle)凭借直观，图形化，拖放式设计环境以及经过验证的，可扩展的，基于标准的体系结构，数据集成已成为组织超越传统专有ETL或数据集成工具的选择。

Hitachi Vantara网站上的Pentaho

1. 安装部署

1.1 下载解压

Data-Integration-kettle地址，打开网页，浏览找到Downloads处，下载最新CE稳定版本。

社区版PDI项目文件地址：https://sourceforge.net/projects/pentaho/files/
企业版PDI下载路径(可30天试用):https://community.hitachivantara.com/s/article/downloads

下载之后进行解压到本地，复制data-integration目录路径可以选择性配置一下KETTLE_HOME，当然可以不配置，只要在data-integration目录下运行Spoon.bat批处理文件即可。

1.2 Kettle运行基础环境

Kettle基于Java开发的绿色软件，开包即用，但是得具备基础环境，也就是本地环境中得有Java及相关的Java环境变量配置。

2. Kettle初次使用

在data-integration目录下找到spoon.bat(windows批处理文件)文件运行，那么在Ubuntu下或者安装了界面的Linux环境下就用spoon.sh打开运行。如果自己的本地系统等环境没有很过时，应该就没有任何问题，如果系统较旧，比如Windows 7、Window Server2008等系统及IE浏览器版本过低，就会出现一些问题。下面会介绍我遇见过的一些异常问题。
在这里插入图片描述
为了以后快速在桌面打开应用，无需找到data-integration目录下时，我们进行快捷方式的创建，并为其设置图标。
在这里插入图片描述
在这里插入图片描述

2.1 启动异常

由于我是在Windows server 2008上部署运行的开发环境，所以有遇到以下问题：

  1. 运行spoon.bat闪退，有个攻略说将spoon.bat中的PENTAHO_DI_JAVA_OPTIONS配置做修改：
    if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"
    改为：
    if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"
    这样修改着实可行，之后我们打开应用。

  2. 当接上面配置后打开应用，出现如下问题：
    在这里插入图片描述
    在这里插入图片描述
    这类问题就是因为本地的IE浏览器版本太低，解决办法是升级本地IE浏览器。

    升级IE浏览器： 打开ie浏览器->找到帮助栏的联机支持->更新到 Internet Explorer 的最新版本 - >下载合适的版本安装就行。下载地址
    下载安装IE浏览器后需要重启计算机，之后新装IE浏览器才能使用。

2.2 正常启动

在这里插入图片描述

3. 资源库

3.1 Kettle资源库相关

Pentaho提供了两个Kettle版本，一个是开源的社区版(CE)；一个是企业版本(EE)，是一个商用软件。

要了解有关Pentaho Kettle与商业支持的Pentaho Enterprise Edition之间的区别的更多信息，查看文件（leverage-open-source-benefits-with-assurance-of-hitachi-overview.pdf）或者请单击此处( https://www.hitachivantara.com/en-us/pdf/brochure/leverage-open-source-benefits-with-assurance-of-hitachi-overview.pdf?ecid=ms_glo_bd_en_ecsflink1）

关于资源库就有两类三种：

  1. 企业资源管理器(Pentaho Repository )：通过Pentaho服务器在中央环境中存储转换，作业和计划；
  2. 数据库资源管理器(Database Repository)：使用中央关系数据库存储ETL元数据；
  3. 文件资源管理器(File Repository)：使用本地文件系统存储元数据。
    在这里插入图片描述
    在Spoon中点击Connect进行资源库管理或连接。当没有资源库管理时，会弹出New Repository Connect界面进行资源库创建。当使用企业版Kettle时，毫无疑问选择企业资源库管理ETL元数据，所以选择Get Start开始企业资源库的创建；当我们使用社区版的Kettle，完全免费使用Kettle做ETL工具进行开发时，虽然Pentaho“不支持”或不建议生产环境使用，但是告诉大家肯定可以在生产环境使用，所以我们选择Other Repository :
    在这里插入图片描述
    出于小型ETL开发团队对开发流程和开发版本等的更好控制，我们在使用社区版Kettle时最好选择File Repository，这样我们结合开发版本控制软件（比如：SVN、Git）进行资源库的合理有序管理控制及测试发布。我开始接触Kettle时在项目开发工作中就是使用文件资源库，下面我们介绍File Repository的创建和使用。
    在你的本地创建一个资源库路径，最好将给文件夹进行ETL项目托管在GitLab之上，后续开始项目的开发管控。

我这里示例时从公司项目托管平台GitLab上先克隆的文件资源库，所以创建目录直接指向克隆下来的文件夹。

$ git clone http://10.80.36.30:8088/edw-etl/edwetl_rep.git
Cloning into 'edwetl_rep'... remote: Enumerating objects: 313, done.
remote: Counting objects: 100% (313/313), done. remote: Compressing
objects: 100% (145/145), done. remote: Total 3027 (delta 211), reused
252 (delta 165) Receiving objects: 100% (3027/3027), 2.37 MiB | 20.07
MiB/s, done. Resolving deltas: 100% (2561/2561), done. Updating files:
100% (1798/1798), done.

在这里插入图片描述

3.2 Kettle文件资源库创建

文件资源库创建：
在这里插入图片描述
创建成功！
在这里插入图片描述
此时Connect已经变成资源库名称，这里可以对资源库进行管理、连接和断开等操作：
在这里插入图片描述
探索索资源库，进行资源库中元数据的浏览查看，或者打开操作等。快捷键：Ctrl+E。
在这里插入图片描述
在这里插入图片描述
由上图可以看出资源库管理的信息有浏览中的转换和作业、连接、Hadoop Clusters、子服务器、分区和集群信息。

4. 数据库连接

4.1 数据库连接打开方式

  1. 在探索资源库的连接中点击+号新建数据库连接；
  2. 当有新转换或作业创建时，就可以进行打开数据库的连接。
    总之，新建数据库连接界面打开如下图所示：
    在这里插入图片描述

4.2 数据库连接示例(Oracle)

可以看出数据库连接分类有一般、 高级、选项、连接池和集群。
一般连接类中连接类型几乎涵盖常见的所有数据库类型，连接方式也有不同方式对应。这里我们主要按照贴近企业项目开发选择做介绍，通过Oracle数据库的JNDI连接方式做演示。

  • 复制Oracle的jdbc驱动(C:\app\Administrator\product\11.2.0\client_1\jdbc\lib 目录下的jar包)到kettle_home的lib文件夹(C:\data-integration\lib)。
  • 配置(C:\data-integration\simple-jndi)文件夹下的jdbc.properties文件。格式参考如下：
    EDWDB/type=javax.sql.DataSource

EDWDB/driver=oracle.jdbc.driver.OracleDriver

EDWDB/url=jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS_LIST =(LOAD_BALANCE = yes)(ADDRESS = (PROTOCOL = TCP)(HOST = 10.80.36.12)(PORT = 1521))(ADDRESS = (PROTOCOL = TCP)(HOST = 10.80.36.13)(PORT = 1521)))(CONNECT_DATA =(FAILOVER_MODE =(TYPE = select)(METHOD = basic))(SERVICE_NAME = edwdb)))

EDWDB/user=EDBADM

EDWDB/password=edbadm1234

or

WMSETL/type=javax.sql.DataSource

WMSETL/driver=oracle.jdbc.driver.OracleDriver

WMSETL/url=jdbc:oracle:thin:@(DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.80.34.5)(PORT = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = orcl)))

WMSETL/user=WMSETL

WMSETL/password=WMSETL
    上述配置密码是明文，后续说明密文相关！
    完成上述两步之后，如果Spoon时启动的，就需要重启Spoon。至此就可以进行Oracle数据库的连接了：
    在这里插入图片描述

(未完、待续…)

ddttoop
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1.4 Kettle 数据同步工具详细教程
在路上的专栏
06-23 1643
Kettle，又名 Pentaho Data Integration（PDI），是一个开源的数据集成工具，最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载（ETL）数据，适用于数据仓库建设、数据迁移和数据同步等场景。Kettle（Pentaho Data Integration）是一个功能强大且易于使用的数据集成工具，适用于多种数据处理和集成场景。其图形化界面和丰富的功能使其成为构建数据仓库、进行数据迁移和数据同步的理想选择。
Kettle(PDI)-一款ETL工具的使用教程（1）
爱码士的博客
06-03 693
什么是ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 什么是Kettle(PDI) Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettl
ETL免费工具kettle(PDI)，安装和配置
hhujjj2005的博客
05-06 861
起源：Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为[1-2]。
主流ETL工具调研
最新发布
mopmgerg54mo的博客
07-24 1042
2、社区和生态系统：DataX是由阿里巴巴集团开发和维护的项目，有较为活跃的开发者社区和丰富的插件生态系统，可以满足不同的数据同步需求。提取是将关系型数据库和非关系型数据库，以及文件图档数据，第三方接口数据，应用的webhook数据等多种多样的原格式数据抽象出来，形成统一的数据格式先放入缓存区，等待下一步转换操作。（2）Kettle提供了丰富的转换步骤和功能，使用户能够对数据进行清洗、过滤、转换和合并等操作，它支持各种数据处理技术，包括字符串操作、日期处理、聚合计算、条件判断等，以满足复杂的数据转换需求。
Kettle(PDI)-一款ETL工具的使用教程（2）
爱码士的博客
06-04 271
数据库连接使用JNDI 为什么要用JNDI？ 简单说，属于配置式，可以通用。 路径：data-integration\simple-jndi\jdbc.properties 基本格式 live_logging_info/type=javax.sql.DataSource live_logging_info/driver=org.postgresql.Driver live_logging_info/url=jdbc:postgresql://localhost:5432/hibernate?search
开源ETL工具Kettle(PDI)开发（一）认识Kettle及源码部署
dzhlch的专栏
05-29 2569
一、ELT是什么？ 二、认识Kettle 三、Kettle源码下载及部署
大数据技术之 Kettle（PDI）
qq_48721706的博客
12-17 9327
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
PDI.pptx Kettle的Spoon使用教程（包括carte,pan,kitchen）
12-03
ppt介绍了 ETL的流程以及Spoon图形化界面的简单使用，以及carte,pan.kitchen的使用
PDI简单介绍之ETL工具-----spoon
06-11 7931
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。Kettle （http://kettle.pentaho.org）翻译成中文名称应该叫水壶，是一个ETL工具集，它允许你管理来自不同数据库的数据。Kettle通过提供一个图形化的用户环境来描述你想
PDI构建开源ETL解决方案_.pdf、开源ETL工具-PentahoKettle使用入门.pdf
03-08
标题中的"PDI构建开源ETL解决方案"和"开源ETL工具-Pentaho Kettle使用入门"都指向了同一件事情——使用Pentaho Data Integration（PDI，也常被称为Kettle）来构建开源的企业级数据提取、转换和加载（ETL）解决方案。...
Kettle工具pdi-ce最新版百度网盘下载
11-03
Kettle工具pdi-ce-7.1.0.12最新版百度网盘下载，CSDN上传有大小限制，
使用PDI构建开源ETL解决方案
01-14
使用PDI构建开源ETL解决方案，着重介绍kettle解决方案的原理、最佳实践等
pentaho kettle中文开发手册
04-12
pentaho kettle中文开发手册
解决方案：使用PDI构建开源ETL解决方案
06-14
解决方案：使用PDI构建开源ETL解决方案.pdf 完整中文版，带目录，460页
Pentaho Kettle Solutions 中文版文档
11-22
kettle学习非常权威的指南文档，适合kettle的深入学习使用
ETL工具Kettle用户手册及Kettle5.x使用步骤带案例超详细版
08-01
Kettle，又称为Pentaho Data Integration (PDI)，是一个强大的开源ETL（Extract, Transform, Load）工具，专门用于从各种数据源抽取数据，进行转换处理，并加载到目标数据存储系统。它提供了直观的图形化工作台Spoon...
Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案.pdf
08-03
《Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
ETL工具-pdi-ce-9.1.0.0-kettle9.1压缩包分包2
12-24
开源ETL工具kettle，共三个分包，请在主页中将三个分包下载至同一文件夹解压（资源上传最大不得超过1000M，无奈）
ETL工具kettle
03-31
Kettle是一个开源的ETL（Extract-Transform-Load）工具，也可以称为PDI（Pentaho Data Integration）。 它可以从各种数据源中提取数据，对数据进行转换和清洗，并将数据加载到目标系统中。Kettle支持各种数据源，包括关系型数据库、文件、XML、JSON、Web服务等。它还提供了一系列强大的转换步骤，如过滤、排序、聚合、连接、转换、数据合并等。 Kettle还提供了可视化的界面，使用户可以轻松地创建、编辑和运行ETL任务。此外，Kettle还支持作业和转换的调度和监控，可以自动化ETL流程的执行。 Kettle是一个跨平台的工具，可以在Windows、Linux和Mac OS X上运行。它还可以与Pentaho BI套件集成，从而提供完整的数据分析和报告功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值