ETL - 实战 Kettle 第一讲

最新推荐文章于 2023-04-20 17:11:54 发布
VIP文章 最新推荐文章于 2023-04-20 17:11:54 发布
阅读量726 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41599820/article/details/88683015
版权

前(fei)言(hua)

PDI 主要有两个部件，一个是转换，另一个是作业，他们之间不同的是作业是同步的，即每一步骤都要等待前一步骤完成，而转换是所有步骤异步运行。
在这里插入图片描述
对于我们的实战项目，要先将数据迁移填充至新客户表，因为订单表需要客户表的主键id作为它的外键，所以我们首先需要一个作业和两个转换，作业将会一个一个执行转换，第一个转换是迁移客户表数据，第二个则是将订单表拆分，和客户表关联。

  1. 让我们创建一个新的转换，并填充旧的客户数据。点击文件→新建→转换。
  2. 打开左面板的核心对象，搜索表输出，拖放至右面板，然后双击这个新的步骤，会弹出一个步骤配置弹窗：
    在这里插入图片描述
  3. 可以给这个步骤命名：获取唯一的客户数据࿰
最低0.47元/天 解锁文章
金华松软的我
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
KETTLE远程执行
02-20
kettle 远程执行 ，使用carte.bat，建立子服务器，并在本地使用命令行的方式调用
kettle基础总结
liuzhiqiang66的博客
07-05 9638
kettle输入，输出，转换，作业等实操总结
kettle使用经验02
AnalogElectronic的博客
11-09 595
作业里的步骤是顺序执行的，转换里的步骤是并发执行的。所以不需要在作业里面加入等待组件。 如下 具体如下
kettle工具介绍和基本使用
鲸落资源
04-20 3341
Kettle简介Kettle是一个开源的ETL工具，所有基本数据抽取、转换、加载，它都可以Kettle是基于Java开发的，是开源免费的有点：开源免费，直接网上下载使用；跨平台，Windows、Linux都可以使用；使用起来简单快捷缺点：相比其他收费产品，劣势也就很显然了，比如稳定性，Bug修复处理，而且基于Java，性能上会差些。当然都是相对来说，一般数据量使用或者逻辑不复杂的话，使用起来是很适合的kettle相关知识。
kettle系列之五kettle远程执行和调度
Copywang
10-12 1万+
参考 http://www.cnblogs.com/John-Young/p/6349252.html https://wenku.baidu.com/view/fb20216858fafab069dc0241.html 说明，不涉及集群搭建，只是远程执行作业的设定 使用场景 本地设计好job之后，本地无法连接到目标数据库的时候，需要上传到某个可以连接数据库的服务器（安装了PDI）执行。...
kettle文件自动化部署（shell脚本执行）：命令行参数传入
热门推荐
longshenlmj的专栏
02-27 1万+
shell脚本（crontab 定期执行），调用kitchen 和 pan 去执行，job和transformation文件。 分 windows和 dos系统两种。 太简单不写了。   shell脚本懒得贴了，不懂百度
关于kettle作业执行问题
m0_59147015的博客
08-04 5820
kettle作业包含60个转换，新建时手动执行没问题，前两次定时执行也没问题，但是过了一天手动和定时执行都有问题，再次新建任务执行有没问题，但是多次执行后又有问题。
Kettle等待
weixin_30252155的博客
05-13 2586
1. Kettle等待 应用场景：kettle跑数设定为每隔3小时执行一次，但如果时间到了，上个批次的job还没运行完，就需要等待job运行完才执行下个批次。这里就需要使用kettle的等待机制了。 1) 判断表中的行数 配置表中status=1表示kettle正在运行，2表示运行完成。查询表中正在运行的记录数，当这个记录数小于1时，代表没有job运行，则继续。当记录数大于等于...
Kettle转换(Trans)执行流程分析
CrazyPig的技术博客
02-12 9885
通过源码分析Kettle转换执行流程
PDI(kettle) 阻塞数据直到步骤都完成、Blocking step组件用法及区别
果果的小莴笋
12-08 3290
阻塞数据直到步骤都完成 此步骤只是等待，直到对话框中指定的所有步骤副本都完成。可以使用它来避免转换步骤副本之间存在的自然并发（并行） 描述： **监视下面的步骤：**在此表格中指定要等待的步骤，可点击“获取步骤”按钮将转换中的全部步骤自动填充到表格中。 复制次数：步骤的副本号，当所选步骤具有多线程时（线程可通过右键点击步骤选择“改变开始复制的数量”进行设置，即设置多少份的拷贝，开多少线程。），可设置线程号来指定等待某个特定的副本号执行完毕。 注意：当步骤之间的缓冲区已满时，这可能会导致转换死锁。解决方法是
kettle常用环节
bird_tp的博客
11-06 1004
转换 类别 环节名称 功能说明 Input 文本文件输入 从本地文本文件输入数据 表输入 从数据库表中输入数据 获取系统信息 读取系统信息输入数据 Output ...
ETL利器Kettle实战应用--Kettle使用介绍
02-26
即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好...
Etl---Kettle(入门教程)超详细
08-13
最近，了解了一下关于ETL的工具，这也是我从不懂到慢慢入门一步步整理的，以下是我亲自制作的ppt，给导成pdf了，但...，有水印！额.......大家将就着看吧！ 如果小伙伴们有需要PPT可以私聊我，如果有什么问题的也...
etl-kettle-web:etl, kettle, web, spring, spring boot, mysql, mybatis, oracle, hadoop, hive, hbase：基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版BS架构工具，并且升级为springboot（基于https
05-13
etl-kettle-webetl, kettle, web,1、参考了：2、基于该项目，将kettle的web网页版本升级为springboot工程。3、欢迎有兴趣的小伙伴，一起讲前端改造成vue.js4、有兴趣的也可以直接修改并提交代码，或联系qq:406419768
etl工具-kettle6.0
04-14
etl工具-kettle6.0
linux系统下搭建kettle服务器并远程执行作业及转换
双目失明丝毫不影响我带崩三路
10-30 2760
解压kettle之后,在kettle目录下运行: nohup /home/cloudera/kettle/carte.sh 0.0.0.0 8080 &>/dev/null & 浏览器输入yourip:8080提示输入用户名及密码 密码配置在kettle/pwd/pwd文件中:默认为cloudera 打开页面: 在windows的kettle客户端,为作业配置子服务器: ...
kettle/Pentaho工具之阻塞数据直到步骤都完成
大宇进阶之路的博客
05-13 4197
我们在job和transformation开发中会有等待某一步完成后，再执行下一步的需求，在job作业中实现这一需求参考下面这篇文章： kettle（Pentaho）job作业并行都执行完后再执行下一步的操作 在转换中，因为转换的所有步骤都是同时启动的，所以用到阻塞这一个组件实现等待的需求。 “阻塞数据直到转换都完成”的使用： 1、转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。 2、监视下面的步骤：在此表格中指定要等待的步骤，可点击“获取步骤”按钮将转换中的全部步骤自动填充..
kettle工具之阻塞数据直到步骤都完成
郭大神的博客
02-21 1万+
kettle中转换和作业的执行顺序： 1、一个作业内的转换，是顺序执行的。 2、一个转换内的步骤是并行执行的。 3、作业内不支持事务，转换内支持事务。 根据业务需要，通常需要在转换内顺序执行，小技巧如下： 1、执行SQL是优先于所有步骤。 2、使用“阻塞数据直到步骤都完成”，确保其他数据步骤都完成再进行下一步骤。 事务: 1、设置转换...
Kettle构建Hadoop ETL实践（一）：ETL与Kettle
wzy0623的专栏
08-13 8580
目录 一、ETL基础 1. 数据仓库架构中的ETL 2. 数据抽取 （1）逻辑抽取 （2）物理抽取 （3）变化数据捕获 3. 数据转换 4. 数据装载 5. 开发ETL系统的方法 二、ETL工具 1. ETL工具的产生 2. ETL工具的功能 （1）连接 （2）平台独立 （3）数据规模 （4）设计灵活性 （5）复用性 （6）扩展性 （7）数据转换 （8）测试和调试 （9）血统和影响分析 （10）日志和审计 三、Kettle简介 1. Kettle设计原则 2
kettle 8.2 etl项目实战教程
最新发布
07-01
kettle 8.2 ETL（Extract, Transform, Load）项目实战教程是帮助用户学习和应用kettle 8.2版本进行实际数据处理和转换的教程。kettle是一款强大的开源ETL工具，可以用于数据提取、转换和加载。 在这个教程中，您将学习如何安装kettle 8.2版本，并且熟悉kettle的主要功能和界面。接下来，您将学习如何创建一个ETL项目，包括数据源的连接和目标的设置。 在数据提取方面，您将学习如何从各种数据源（如关系型数据库、文本文件等）中提取数据。kettle 8.2版本提供了多种数据提取的方式，包括使用SQL查询、使用文件输入和输出等。 然后，您将学习如何对提取的数据进行转换。kettle 8.2版本提供了丰富的转换组件，如过滤、排序、连接、聚合等，可以帮助您对数据进行各种转换操作。 最后，在数据加载方面，您将学习如何将转换后的数据加载到目标数据源中。kettle 8.2版本支持将数据加载到各种目标，如关系型数据库、数据仓库、Hadoop等。 在整个教程中，您还将学习如何使用kettle 8.2版本的调度功能，以便自动执行ETL任务。您将学习如何设置调度器、定时任务以及监控和管理ETL任务。 总之，kettle 8.2 ETL项目实战教程将帮助您掌握kettle 8.2版本的基本功能和应用，使您能够在实际项目中使用kettle进行数据处理和转换。无论您是初学者还是有经验的开发人员，这个教程都将为您提供实用的知识和技巧。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值