Kettle
文章平均质量分 93
fang·up·ad
编程、跑步、看书
展开
-
kettle学习笔记
一、下载安装kettle方式 Kettle最早叫做Kettle,后来该名为PDI,不过大多数人还是习惯于叫Kettle 两种下载方式 官网下载kettle,需要在官网填写注册信息,下载的会是最新版本的kettle,2021.3.19日官网最新9.1版本。官网地址 百度搜索下载kettle的地址,可能版本不是最新。下载kettle地址。最新版本8.2。 安装步骤Kettle是纯Java编写的ETL开源工具,目前Kettle7和Kettle8都需要Java8...原创 2021-03-24 16:01:52 · 1056 阅读 · 0 评论 -
Kettle之定时运行Job
Kettle做定时任务有两种方式。 第一种是kettle自带的Start控件,缺点是kettle程序必须始终运行,浪费内存。 第二种是使用系统的定时功能。使用Kitchen、Pan命令编写bat、sh脚本,然后使用windows任务计划或者linux的crotab实现定时执行执行脚本。(一)Start控件执行定时任务我们需要建立一个job,来让转换定时执行。操作步骤1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 作业(J)新建一个作业(job),并...原创 2021-03-24 10:49:21 · 13422 阅读 · 2 评论 -
Kettle之数据同步
之前的业务需求是实现数据的增量同步,具体描述为:新增数据插入,变化数据更新(增改),我使用 表输入+插入更新控件 即可实现。现在业务提出新的需求:除前面描述外,还要实现源表数据删除时,目标表数据同样删除。虽然我极其不推荐这样做,原因有三:(1)数据库不应该真正存在delete操作,如果确实要删除一条数据的话,理论上应该在数据库中设置标志位,执行update,不向前端业务显示,但数据仍存在数据库中,便于追溯和回退;(2)ETL实现删除数据的操作,一旦出...原创 2021-03-23 21:06:27 · 5950 阅读 · 4 评论