Kettle操作手册

最新推荐文章于 2024-03-12 22:23:55 发布
最新推荐文章于 2024-03-12 22:23:55 发布
阅读量4.5k 收藏 3
点赞数 1
文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rainrain_Zeng/article/details/121305414
版权
本文档详细介绍了如何安装、使用及发布Pentaho Data Integration（Kettle）7.1.0版本。内容包括Kettle的环境配置、基于日期的循环抽取、全局变量与配置文件的应用、字符集设置问题及解决方案，以及在Windows和Linux上的发布和定时调度方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kettle操作手册（当前使用版本为：Pentaho Data Integration version 7.1.0.0-12)

1.kettle安装

1.1 下载压缩包（data-integration.zip）。直接解压到本地；

1.2 配置环境变量。此版本要求本地jdk环境为1.8及以上。需要在环境变量中指定KETTLE_HOME=文件解压之后的路径。如：我本地解压在D:/soft下，则配置：KETTLE_HOME=D:/soft/data-integration。

2.kettle使用

2.1kettle 循环的 使用

​ 当时使用的场景是：运维人员可以选择是全量重新抽取还是选取日期时间段之内的数据按照日期一天一天的进行重新抽取，前面的转换会将选取的所有时间（以日期为单位：YMD）放入列表中。循环时，以日期列表的大小为循环的大小，在循环的过程中对抽取的日期进行赋值。

循环使用场景

​ kettle中循环的实现需要使用到：JavaScript、检验字段的值、循环中的业务处理转换。如下图所示：
简单循环样例

​ 循环初始

最低0.47元/天 解锁文章
Kettle — 使用手册
永远不会懂
09-11 21万+
介绍 ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。 kettle有两种脚本transformation（转换）和Job（作业） Kettle有三个主要组件：Spoon、Kitchen、P...
《Kettle保姆级教学-转换控件2w字图文详解》
最新发布
weixin_42924611的博客
02-06 2401
Kettle 是一个开源的 ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。
Kettle完整操作手册
08-01
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
KETTLE使用手册-01
always_mountain_top的博客
05-19 5916
Kettle是一个开源的ETL工具,它可以实现数据的抽取、转换、和加载。在Kettle中,数据抽取和转换的处理过程是通过kjb(作业)和ktr(转换)来实现的。本手册将介绍如何配置数据库连接,设置变量,使用Kettle中的控件设计ETL流程。
kettle（学习手册、中文手册、Kettle使用培训文档）
03-17
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于 金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种 etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。是学习kettle的好资料！
LInux系统下kettle操作手册.docx
07-18
"Linux系统下kettle操作手册" 本文档主要介绍了在Linux系统下使用kettle工具的操作手册，包括在Windows和Linux环境下的使用教程。 一、概述 Kettle是一个数据集成工具，主要用于数据的提取、转换和加载。由于操作...
KETTLE操作手册
07-10
KETTLE 操作手册 Kettle 是一个功能强大且灵活的数据集成工具，广泛应用于数据warehousing、商业智能和大数据等领域。本手册旨在为读者提供一个简单的入门指南，帮助他们快速掌握 Kettle 的基本操作和应用。 1. ...
kettle 使用手册
12-25
kettle 使用手册、kettle 使用手册、kettle 使用手册、kettle 使用手册、kettle 使用手册、kettle 使用手册、
【ETL-Kettle】用户手册-中文版
10-11
kettle最完整的用户手册中文版
Kettle 7.1 中文使用手册.docx.zip
06-12
Kettle 7.1 的中文使用文档，内容挺详细的， 非常适合新手入门。
ETL工具Kettle用户手册
02-09
目录 Kettle 3.0 用户手册 ...................................................................................................................... 1 Kettle 3.0 用户手册 ...................................................................................................................... 6 1. Kettle 介绍 ................................................................................................................................ 6 1.1 什么是kettle ............................................................................................................. 6 1.2 Kettle 的安装 ............................................................................................................ 6 1.3 运行Spoon ............................................................................................................... 6 1.4 资源库 ....................................................................................................................... 6 1.5 资源库自动登录 ....................................................................................................... 7 1.6 定义 ........................................................................................................................... 8 1.6.1 转换 ................................................................................................................... 8 1.6.2 任务 ................................................................................................................... 8 1.7 选项 ........................................................................................................................... 9 1.7.1 General 标签 ................................................................................................... 10 1.7.2 Look Feel 标签 ............................................................................................... 11 1.8 搜索元数据 ............................................................................................................. 12 1.9 设置环境变量 ......................................................................................................... 13 2. 创建一个转换或任务 ............................................................................................................. 13 3. 数据库连接(Database Connections) ...................................................................................... 14 3.1 描述 ......................................................................................................................... 14 3.2 设置窗口 ................................................................................................................. 14 3.3 选项 ......................................................................................................................... 14 3.4 数据库用法 ............................................................................................................. 15 4. SQL 编辑器(SQL Editor) ....................................................................................................... 16 4.1 描述 ......................................................................................................................... 16 4.2 屏幕截图 ................................................................................................................. 16 4.3 局限性 ..................................................................................................................... 16 5. 数据库浏览器(Database Explorer) ........................................................................................ 17 5.1 屏幕截图 ................................................................................................................. 17 5.2 描述 ......................................................................................................................... 17 6. 节点连接（Hops） ................................................................................................................ 18 6.1 描述 ......................................................................................................................... 18 6.2 转换连接 ................................................................................................................. 18 6.3 任务连接 ................................................................................................................. 18 6.4 屏幕截图 ................................................................................................................. 18 6.5 创建一个连接 ......................................................................................................... 19 6.6 拆分一个连接 ......................................................................................................... 19 6.7 转换连接颜色 ......................................................................................................... 19 7. 变量（Variables） .................................................................................................................. 20 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第2 页/共202 页 7.1 变量使用 ................................................................................................................. 20 7.2 变量范围 ................................................................................................................. 20 7.2.1 环境变量 ......................................................................................................... 20 7.2.2 Kettle 变量 ...................................................................................................... 21 7.2.3 内部变量 ......................................................................................................... 21 8. 转换设置（Transformation Settings） .................................................................................. 22 8.1 描述 ......................................................................................................................... 22 8.2 屏幕截图 ................................................................................................................. 22 8.3 选项 ......................................................................................................................... 25 8.4 其它 ......................................................................................................................... 26 9. 转换步骤（Transformation steps） ....................................................................................... 27 9.1 描述 ......................................................................................................................... 27 9.2 运行步骤的多个副本 ............................................................................................. 27 9.3 分发或者复制 ......................................................................................................... 28 9.4 常用错误处理 ......................................................................................................... 29 9.5 Apache 虚拟文件系统（VFS）支持 .................................................................... 31 9.6 转换步骤类型 ......................................................................................................... 33 9.6.1 文本文件输入（Text Input） ........................................................................ 33 9.6.2 表输入（Table Input） ................................................................................... 45 9.6.3 获取系统信息（Get System Info） ............................................................... 47 9.6.4 生成行（Generate Rows） ............................................................................ 51 9.6.5 文件反序列化（De-serialize from file）（原来名称为Cube 输入） .......... 52 9.6.6 XBase 输入（XBase input） ......................................................................... 53 9.6.7 Excel 输入（Excel Input） ............................................................................ 54 9.6.8 XML 输入(XML input) .................................................................................. 58 9.6.9 获取文件名(Get File Names) ......................................................................... 61 9.6.10 文本文件输出(Text File Output) .................................................................... 62 9.6.11 表输出(Table output) ...................................................................................... 65 9.6.12 插入/更新(Insert/Update) ............................................................................... 68 9.6.13 更新（Update） ............................................................................................. 70 9.6.14 删除(Delete) .................................................................................................... 71 9.6.15 序列化到文件(Serialize to file)(以前是Cube Output) .................................. 72 9.6.16 XML 输出（XML output） ........................................................................... 73 9.6.17 Excel 输出(Excel Output) ............................................................................... 76 9.6.18 Access 输出（Microsoft Access Output） ..................................................... 78 9.6.19 数据库查询(Database lookup) ....................................................................... 80 9.6.20 流查询（Stream lookup） ............................................................................. 81 9.6.21 调用数据库存储过程(Call DB Procedure) .................................................... 83 9.6.22 HTTP 客户端(HTTP Cient) ............................................................................ 84 9.6.23 字段选择 (Select values) ............................................................................... 86 9.6.24 过滤记录(Filter rows) ..................................................................................... 89 9.6.25 排序记录（Sort rows） ................................................................................. 90 9.6.26 添加序列(Add sequence) ................................................................................ 91 9.6.27 空操作-什么都不做(Dummy-do nothing) ..................................................... 93 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第3 页/共202 页 9.6.28 行转列(Row Normaliser) ................................................................................ 95 9.6.29 拆分字段（Split Fields）............................................................................... 97 9.6.30 去除重复记录(Unique rows) .......................................................................... 98 9.6.31 分组(Group By) ............................................................................................ 100 9.6.32 设置为空值(Null if) ...................................................................................... 101 9.6.33 计算器（Calculator） .................................................................................. 102 9.6.34 增加XML（XML Add） ............................................................................. 104 9.6.35 增加常量（Add constants） ........................................................................ 106 9.6.36 行转列（Row Denormaliser） ..................................................................... 107 9.6.37 行扁平化（Flattener） ................................................................................. 108 9.6.38 值映射（Value Mapper） ............................................................................ 110 9.6.39 被冻结的步骤（Blocking step） ................................................................. 111 9.6.40 记录关联（笛卡尔输出）（Join Rows-Cartesian Product）....................... 112 9.6.41 数据库连接（Database Join） ..................................................................... 114 9.6.42 合并记录（Merge rows） ............................................................................ 115 9.6.43 存储合并（Stored Merge） ......................................................................... 116 9.6.44 合并连接(Merge Join) .................................................................................. 117 9.6.45 JavaScript 值（JavaScript Value） ............................................................. 119 9.6.46 改进的JavaScript 值（Modified JavaScript Value） ................................ 127 9.6.47 执行SQL 语句（Execute SQL script） ...................................................... 129 9.6.48 维度更新/查询（Dimension lookup/update） ............................................ 132 9.6.49 联合更新/查询（Combination lookup/update） ......................................... 133 9.6.50 映射（Mapping） ........................................................................................ 134 9.6.51 从结果获取记录（Get rows from result） .................................................. 135 9.6.52 复制记录到结果（Copy rows to result） .................................................... 135 9.6.53 设置变量（Set Variable） ........................................................................... 136 9.6.54 获取变量（Get Variable） ........................................................................... 137 9.6.55 从以前的结果获取文件（Get files from result） ....................................... 138 9.6.56 复制文件名到结果（Set files in result） .................................................... 139 9.6.57 记录注射器（Injector） .............................................................................. 140 9.6.58 套接字读入器（Socket Reader） ................................................................ 141 9.6.59 套接字输写器（Socket Writer） ................................................................. 141 9.6.60 聚合行（Aggregate Rows） ........................................................................ 142 9.6.61 流XML 输入（Streaming XML Input） .................................................. 143 9.6.62 中止（Abort） ............................................................................................. 149 9.6.63 Oracle 批量装载（Oracle bulk loader） ...................................................... 151 10. 任务设置（Job Settings） ........................................................................................... 153 10.1 描述 ....................................................................................................................... 153 10.2 屏幕截图 ............................................................................................................... 153 10.3 选项 ....................................................................................................................... 153 10.4 其它 ....................................................................................................................... 154 11. 任务条目（Job Entries） ............................................................................................. 154 11.1 描述 ....................................................................................................................... 154 11.2 任务条目类型 ....................................................................................................... 155 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第4 页/共202 页 11.2.1 特殊的任务条目 ........................................................................................... 155 11.2.2 转换 ............................................................................................................... 157 11.2.3 任务 ............................................................................................................... 159 11.2.4 Shell .............................................................................................................. 161 11.2.5 Mail ............................................................................................................... 163 11.2.6 SQL ............................................................................................................... 165 11.2.7 FTP ................................................................................................................ 166 11.2.8 Table Exists ................................................................................................... 168 11.2.9 File Exists ...................................................................................................... 169 11.2.10 Evaluation(javascript) ................................................................................... 170 11.2.11 SFTP .............................................................................................................. 171 11.2.12 HTTP ............................................................................................................. 173 11.2.13 Create file ...................................................................................................... 175 11.2.14 Delete file ...................................................................................................... 176 11.2.15 Wait for file ................................................................................................... 177 11.2.16 File compare .................................................................................................. 178 11.2.17 Put files with secureFTP ............................................................................... 180 11.2.18 Ping a host ..................................................................................................... 181 11.2.19 Wait for .......................................................................................................... 182 11.2.20 Display Msgbox info ..................................................................................... 183 11.2.21 Abort job ....................................................................................................... 184 11.2.22 XSL transformation ....................................................................................... 185 11.2.23 Zip files ......................................................................................................... 186 12. 图形界面（Graphical View） ...................................................................................... 187 12.1 描述 ....................................................................................................................... 187 12.2 添加步骤或者任务条目 ....................................................................................... 188 12.2.1 拖放创建步骤 ............................................................................................... 188 12.2.2 从步骤类型树创建步骤 ............................................................................... 188 12.2.3 在你想要的位置创建步骤 ........................................................................... 189 12.3 隐藏步骤 ............................................................................................................... 189 12.4 转换步骤选项（右键上下文菜单） ................................................................... 189 12.4.1 编辑步骤 ....................................................................................................... 189 12.4.2 编辑步骤描述 ............................................................................................... 189 12.4.3 数据迁移 ....................................................................................................... 189 12.4.4 复制 ............................................................................................................... 189 12.4.5 复制步骤 ....................................................................................................... 189 12.4.6 删除步骤 ....................................................................................................... 190 12.4.7 显示输入字段 ............................................................................................... 190 12.4.8 显示输出字段 ............................................................................................... 190 12.5 任务条目选项（右键上下文菜单） ................................................................... 190 12.5.1 打开转换/任务 .............................................................................................. 190 12.5.2 编辑任务入口 ............................................................................................... 190 12.5.3 编辑任务入口描述 ....................................................................................... 190 12.5.4 复制任务入口 ............................................................................................... 190 技术资料，【Kette3.0 用户手册】 ©深圳市神盾信息技术有限公司，2008 第5 页/共202 页 12.5.5 复制选择的任务入口到剪贴板 ................................................................... 190 12.5.6 排列/分布 ...................................................................................................... 191 12.5.7 拆开节点 ....................................................................................................... 191 12.5.8 删除所有任务入口的副本 ........................................................................... 191 12.6 添加节点连接 ....................................................................................................... 191 12.7 运行转换 ............................................................................................................... 191 12.8 屏幕截图 ............................................................................................................... 191 12.9 执行选项 ............................................................................................................... 192 12.9.1 在哪里执行 ................................................................................................... 192 12.9.2 预览 ............................................................................................................... 192 12.9.3 使用安全模式 ............................................................................................... 192 12.9.4 日志级别 ....................................................................................................... 192 12.9.5 重放日期 ....................................................................................................... 192 12.9.6 参数 ............................................................................................................... 192 12.9.7 变量 ............................................................................................................... 192 12.10 设置远程或者从属服务器 ................................................................................... 193 12.10.1 概述 ....................................................................................................... 193 12.10.2 屏幕截图 ............................................................................................... 193 13. 日志（Logging） ......................................................................................................... 193 13.1 日志描述 ............................................................................................................... 193 13.2 屏幕截图 ............................................................................................................... 194 13.3 日志网格 ............................................................................................................... 194 13.3.1 转换日志网格 ............................................................................................... 194 13.3.2 任务日志网格 ............................................................................................... 195 13.4 按钮 ....................................................................................................................... 195 13.4.1 转换按钮 ....................................................................................................... 195 13.4.2 任务按钮 ....................................................................................................... 197 14. 网格（Grids） .............................................................................................................. 198 14.1 描述 ....................................................................................................................... 198 14.2 功能 ....................................................................................................................... 198 14.3 导航 ....................................................................................................................... 199 15. 资源库浏览器（Repository Explorer） ...................................................................... 199 15.1 描述 ....................................................................................................................... 199 15.2 屏幕截图 ............................................................................................................... 200 15.3 右键单击功能 ....................................................................................................... 200 15.4 备份/资源库 .......................................................................................................... 200 16. 共享对象（Share objects） ......................................................................................... 201
kettle使用手册
06-22
详细介绍了Kettle组件的使用方法和注意事项,支持多种数据库.
KETTLE使用手册-02
always_mountain_top的博客
05-19 3533
介绍：Kettle是一个开源的ETL工具,它可以实现数据的抽取、转换、和加载。在Kettle中,数据抽取和转换的处理过程是通过kjb(作业)和ktr(转换)来实现的。本手册将介绍如何配置数据库连接,设置变量,使用Kettle中的控件设计ETL流程。
Kettle操作手册-Kettle常用应用步骤
寒暄的博客
05-22 833
常用应用步骤 应用就是工具类。 替换NULL值 可以选择全部替换，也可以指定字段来替换。 写日志 写日志主要在调试时使用，把日志信息打印到日志窗口。 常用流程步骤 类似于流程控制。 switch-case 可以让数据流从一路到多路 过滤记录 过滤记录是让数据流从一路到两路 类似于if-else。 空操作 空操作一般作为数据流的终点。 （在实际中很少使用） 中止 中止是数据流的终点，如果有数据到这里就会报错（一般用于校验数据使用） ...
Kettle安装使用手册
科学的N次方
03-12 1380
Kettle安装使用手册 目录 1 KETTLE 介绍 5 1.1. 核心组件 5 1.2. 组成部分 5 1.3. 概念模型 6 1.3.1. Transformation（转换） 6 1.3.2. Steps（步骤） 7 1.3.3. Hops（节点连接） 7 1.3.4. Jobs（工作） 7 1.3.5. Variable（变量） 8 1.4. 查看版本 9 1.5.
kettle操作手册
12-14
kettle操作手册是指关于kettle（也叫Pentaho Data Integration）软件使用的详细指南。以下是对kettle操作手册的描述： kettle操作手册包含了kettle软件的安装、配置、使用等方面的指导。首先，手册会介绍如何下载和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值