kettle
文章平均质量分 66
Dragon online
我数据我快乐
展开
-
kettle介绍-Step之Script Values/Mod(JavaScript 代码) 一
JavaScript 代码步骤提供了一个用户界面,用户可以编写 JavaScript 代码到脚本区,脚本区域中的每一行代码都会执行一次,该步骤具有两个窗格和一个表Step name:步骤的名称,在单一转换中,名称必须唯一:该步骤中创建的 JavaScript 脚本:插件内置常量,用于数据行流程控制- SKIP_TRANSFORMATION:从输入行集中排除当前行,然后继续处理下一行- ERROR_TRANSFORMATION:从输入行集中排除当前行,生成错误,并且不处理其余所有行。原创 2024-04-15 15:52:38 · 845 阅读 · 0 评论 -
kettle介绍-Step之Return steps metrics
转换步骤信息统计步骤可以用于统计当前转换中的其它步骤信息,包括步骤执行后的输入行数、输入行数、读入行数、更新行数等。此步骤可以直接拖入转换中,不需要连接其它步骤,手动填写需要进行统计的步骤名称即可。原创 2024-04-10 15:58:06 · 150 阅读 · 0 评论 -
kettle介绍-Step之REST Client
REST 客户端转换步骤可以消费 RESTful 服务。RESTful 是一种网络应用程序的设计风格和开发方式,基于 HTTP,可以使用 XML 格式定义或 JSON 格式定义。在该体系中 Web 服务被视为资源并且可以通过其 URL 进行标识,该步骤有常规、认证、SSL、标题、参数、矩阵参数六个标签页。原创 2024-04-10 14:49:59 · 769 阅读 · 0 评论 -
kettle介绍-Step之Abort
中止步骤用于读取指定行数之后停止读取剩余行数,可以用于调试转换Step Name:步骤的名称,在单一的转换中,名称必须唯一:指定行数,转换读取到指定行数的后一行,就停止读取剩余行集数据:指定信息内容,中止读取行集数据之后以步骤错误日志的形式显示在日志中:勾选之后会将中止之前的行集数据显示在日志中:勾选后,读取到Abort threshold中设置的中止记录值处中止该转换,并且行集数据将无法输出到流中。原创 2024-04-09 09:41:27 · 305 阅读 · 0 评论 -
kettle介绍-Step之Value Mapper
值映射步骤是将字符串值从一个值映射为另一个值。值映射步骤提供了一个简单的替代方法,在输入流中选中一个字段,通过字段值设置源值和目标值,再将映射值输出给后续步骤使用。如:值映射步骤可以和表输入步骤、表输出步骤一起使用,对表输入步骤中的字段值进行映射后,输出给表输出步骤插入到目标字段Step name:步骤的名称,在单一的转换中,名称必须唯一:下拉框选择输入步骤中需要值映射的字段名称,此项为必填。原创 2024-04-09 09:31:28 · 266 阅读 · 0 评论 -
kettle介绍-Step之Write to log
写日志步骤是将输入步骤的信息打印在日志窗口,供用户直接查看Step name:步骤的名称,在单一转换中,名称必须唯一。Log level:设置日志的显示级别。没有日志(Nothing):完成没有任何日志输出。错误日志(Error):只输出错误信息。最小日志(Minimal):只输出打开转换、开始执行转换、转换完成和错误信息。基本日志(Basic):每一个步骤执行完后输出一条统计信息,默认是基本日志。详细日志(Detailed):每一个步骤都会输出开始、结束等信息。原创 2024-04-07 14:57:49 · 223 阅读 · 0 评论 -
kettle介绍-Step之CSV Input
CSV 文件输入步骤主要用于将 CSV 格式的文本文件按照一定的格式输入至流中Step name:步骤的名称,在单一转换中,名称必须唯一Filename:指定输入 CSV 文件的名称,或通过单击右边的“浏览”按钮指定本地的 CSV 文件Delimiter:指定分隔列的符号,一般 csv 文本文件默认的是逗号。如图 所示,里面的逗号就是列分隔符Enclosure:指定一个数据的封装符号,一般 csv 文本文件默认的是双引号。如图上图所示,双引号就是封闭符。原创 2024-04-07 14:44:07 · 470 阅读 · 0 评论 -
kettle介绍-Step之If field value is null
替换NULL值步骤可以将输入流中所有字段的空值进行替换,也可以指定一种类型下的空值进行替换,还可以指定一个字段下的空值进行替换三种替换NULL模式所有字段空值全部替换选定字段替换指定值根据数据类型替换指定值。原创 2024-04-03 15:49:01 · 194 阅读 · 0 评论 -
kettle介绍-Step之加密及解密
可生成Encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89,即为123对应的kettle加密后的密码。linux/mac系统命令行执行:encr.sh -kettle 123。windows系统命令行执行:Encr.bat -kettle 123。进入kettle的安装目录。原创 2024-04-03 15:37:34 · 154 阅读 · 0 评论 -
kette介绍-Step之Table output
忽略插入时发生的异常,有报错时整个转化就停止。此功能需谨慎使用,虽然错误日志能够记录20个以内的错误详情,但数据库的插入异常应当重视。这是一种灵活性更大的分区功能,避免上述只能支持按月、按天分区的局限性。:指定包含关键字的输出字段的字段名称。:指定字段跟数据库表字段的映射关系,当没勾选时根据字段名称进行自动配对。关系数据库都支持自增长字段,这些字段的值在插入数据库记录后,自动产生并。:激活时可以启用逻辑分区,也就是某个字段的值决定该行。激活条件下,性能更高。:如果激活,那么每一行数据插入的表名称由。原创 2024-04-03 13:23:17 · 676 阅读 · 0 评论 -
kette介绍-Step之Table input
可以随意写能运行的SQL,写在其中的SQL是在数据库环境中运行的,如果数据库压力不大建议将一些关联放到此处,可以减少取到服务器的数据。:设置从数据源中读取的最大行数。如果设置值≤0,那么将查询所有记录,不限制返回行数;如果设置正整数值,则返回行数不超过设置值。Table input用于将数据源的数据加载到Kettle转换中的行集,可以说是数。据从持久化到内存的一种加载变换,故名为输入。连接到数据源执行SQL语句,将返回结果解析为行集,传递给下一个步骤。:配合使用可以在前面设置一个取数据的,当做绑定变量。原创 2024-04-03 13:00:24 · 322 阅读 · 0 评论 -
kette介绍-Step之Merge Join
sql关联查询,INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN原创 2024-04-03 11:41:23 · 365 阅读 · 0 评论 -
kettle介绍-参数变量
Transformation Step中的数据可以传递给Transformation Executor,在Transformation Executor 调用的组件中可以直接当变量使用:通过${VARIABLE}或者%%VARIABLE%% 使用;这个参数表示当前的实体保存的位置,比如在Job中使用,则表示Job保存的位置,Transformation中表示Transformation的位置。凡是带有方块图标的文本框中都可以通过${VARIABLE} %%VARIABLE%% 使用变量。原创 2024-04-02 14:36:46 · 619 阅读 · 0 评论 -
kettle使用MD5加密增量获取接口数据
使用JavaScript组件进行MD5加密得到Http header,调用API接口增量获取接口数据,使用json input组件解析数据入库JOB包括获取增量时间点、记录日志、更新增量时间点、获取接口数据几个转换这里用到表输入组件,生成appKey、url、拼接request body、body以及增量时间、Http header等JSONPath是xpath在json的应用。类似于XPath在xml文档中的定位, JsonPath表达式通常是用来路径检索或设置Json的。原创 2024-04-02 12:58:55 · 1539 阅读 · 0 评论 -
kettle+report designer导出带样式的excel包含多个sheet页
pentaho report designer报表设计器使用可参考,kettle生成带有样式的excel,PDF等可参考,kettle生成多个sheet页可以参考,多个sheet页合并成一个excel文件可参考。读者个人qq:420773639。这里是自定义开发了一个合并sheet页的jar包,使用时只需指定路径就可合并路径下所有excel的文件到一个文件中,具体使用方法如图。生成一条常量数据即可,包括报表设计文件路径及文件名,传入报表参数,生成excel的路径及文件名,这里也可建立配置表,在表中控制。原创 2023-12-11 10:59:52 · 590 阅读 · 1 评论 -
kettle导出Excel文件报磁盘空间爆满处理方法
在导入导出数据到excel会在服务器生成.xml文件导致磁盘空间爆满kettle运行过程:查看磁盘使用情况:df -h发现磁盘空间爆满导致kettle过程报错,报错信息如下:解决办法:cd /tmplsrm -rf *.xml再次查看磁盘使用情况df -h问题解决,记录一下,生成的文件路径。...原创 2020-04-22 14:08:30 · 1051 阅读 · 1 评论 -
kettle连接常用数据库JNDI配置方式
kettle连接几种常用数据库JNDI配置方式如下:1.mysql数据库jndi配置:#mysql_localmysql/type=javax.sql.DataSourcemysql/driver=com.mysql.jdbc.Drivermysql/url=jdbc:mysql://127.0.0.1:3306/mysql?zeroDateTimeBehavior=convertToN...原创 2019-12-21 09:43:40 · 2418 阅读 · 1 评论 -
kettle另一种简单的循环
kettle另一种简单的循环案例是循环从oracle插入数据到oracle一:表及表数据准备源表名为:test_input测试数据如图:select * from test_input;目标表名为:test_output执行kettle作业前无数据如图:select* from test_output;二.job介绍kettle简单的一个循环job设计如下:循环job调...原创 2019-12-12 11:05:42 · 524 阅读 · 1 评论 -
kettle安装运行及JDK配置
1.Kettle简单介绍kettle 是一款开源的、元数据驱动的ETL工具集,是开源 ETL 工具里功能比较强大的一个。Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望把各种数据...原创 2019-10-31 00:02:17 · 11453 阅读 · 1 评论 -
kettle循环导出数据到excel生成多个sheet页
kettle循环导出数据到excel生成多个sheet页1.场景介绍:根据不同的省份生成多个execl,每个execl中根据不同的年份生成不同的sheet页2.案例适用范围:循环job可参考,变量运用可参考,生成多个sheet页可参考3.整个job设置如下设计:...原创 2019-05-14 17:15:16 · 13301 阅读 · 12 评论