kettle表更新、插入更新、裁剪表

最新推荐文章于 2024-06-24 17:32:34 发布
最新推荐文章于 2024-06-24 17:32:34 发布
阅读量5k 收藏 7
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49708329/article/details/108208048
版权
本文介绍了Kettle中对数据库表的三种操作：更新、插入更新和裁剪表。更新是根据数据流对比并更新已有记录；插入更新则在记录存在时更新，不存在时插入新数据；裁剪表则清除表内所有信息，保留表结构。通过实例展示了如何在Kettle中执行插入更新操作，涉及Excel数据源和MySQL目标表。
摘要由CSDN通过智能技术生成

定义

表更新：就是把数据库已经存在的记录与数据流里面的记录进行对比，如果不同就进行更新。

插入更新：就是把数据库已经存在的记录与数据流里面的记录进行对比，如果不同就进行更新，如果记录不存在，则会插入数据。

裁剪表：就是将数据表中的信息全部清除，保留表的基本结构。

插入更新实操

任务：从excel表中获取id，name，age字段的数据，并插入更新到mysql数据库的kettle_test表中

步骤1.新建转换，选择Excel表输入、插入更新两个部件
1在这里插入图片描述
2.处理Excel输入部件
在这里插入图片描述
在这里插入图片描述
3.处理插入更新部件

最低0.47元/天 解锁文章
weixin_49708329
关注
kettle db连接内网地址_使用Kettle实现数据实时增量同步--时间戳增量回滚同步
weixin_39575054的博客
11-20 281
0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后...
Kettle (学习001) 表输入-＞插入/更新
范天缘的博客
11-14 4136
kettle数据抽取学习
Kettle (学习001) 表输入-＞插入 更新_kettle 插入更新
最新发布
2401_84619185的博客
06-24 702
1.首先我们创建两个表,分别叫做user_a和user_b表,在a表中新增几条数据创建user_a表创建user_b表user_a表新增几条数据查看a表查看b表。
Kettle 裁剪表详解（truncate）
鱼丸丶粗面
08-08 5156
Kettle 裁剪表
kettle中三种类型： 增量不裁剪，增量裁剪，全量
luolang_103的博客
04-28 4290
（1）增量表，全量表，快照表 原图片来源：什么是增量表，全量表，快照表 - 简书 https://www.jianshu.com/p/d53b44b15655 （2）裁剪不裁剪 参看：SQL TRUNCATE TABLE 指令 https://www.1keydata.com/cn/sql/sql-truncate.php 裁剪： 就是将数据表中的信息全部清除，保...
kettle中表输入和插入/更新的区别
steven.yang
11-19 4918
表输出 跟 插入更新 对比少了 更新这个步骤，通过比较源表和目标表中的主键。 案例一：源表有的，目标表没有 源表 id value 1 111 2 222         目标表 id value 1 111       表输入和插入更新的最终目标表结果 id value 1 111 2 222 ...
kettle中Excel文件输入，MySQL数据表输出
qq_43721463的博客
06-06 325
** ~~ 加粗样式 加粗样式 ~~ **@TOC 欢迎使 [ ] **Excel文件输入，MySQL数据表输出 ** 用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除...
kettle常见业务操作表输入-表输出
valkyrja110的博客
11-13 9505
kettle常见业务操作一、kettle主要功能二、简述1.kettle过程描述2.输入控件3.输出控件4.kettle三、表输入-表输出1.建表2.造数据3.表输出四、新建转化 一、kettle主要功能 接触kettle很长时间了，现在已经改名为Pentaho Data Integration，就是数据整合的意思和原来的水壶很相像，数据从壶口装入，壶嘴统一输出。 kettle的功能很多，我当时用的最多的就是跨数据库同步数据的功能，举例，把mysql数据库中的商品信息导入到orcle，因为涉及到跨数据库，手
Kettle入门（三）
Stannis的博客
11-04 1446
六、数据增量更新问题 1、方式一：脚本 执行SQL脚本 表输入： 表输出 结果 2、裁剪表 表输出设置【剪裁表】 结果： 3、插入/更新 结论： 当数据源变化时，重新抽取后，目标也变过来了 4、同步更新 表输入： 表输入2： 排序记录：按照主键进行排序 合并记录：   需要注意新旧数据源，该实例中，【表输入2】为旧数据源，【表输入】为新数据源 数据同步 结果：只插入了新增的两条数据 5、时间戳方式更新（大数据量） 清除目标表之前数据 选择前一天的数据 结果
kettle同步多个表数据
weixin_56496488的博客
11-14 3318
在面对把一个库中大量的表全量更新到另一个库的时候可以使用这个操作，总共三个转换两个作业
项目开发常用表单裁剪表_汇总
05-25
裁剪指南、新产品开发项目、产品升级项目、小型合同项目、各种系统常用表单
kettle开发过程及字符转换等例子
03-03
绝对的kettle大全，里面包括了kettle的创建、增量的创建、字符的转换、资料库的使用等例子
kettle导数据造成Postgresql锁表
zsg86的博客
09-29 2131
场景：kettle数据抽取节点A、B，Postgresql集群数据管理节点C。A和B上同时跑着数据抽取任务，有两个任务运行过程中卡住。于是打算重启抽取任务，先truncate这两个表（一个任务对应一个表），问题出现了，有一个表truncate执行卡住，delete卡住，drop table也不行，但是可以insert和select。一定是表锁住了！ 解决办法： 1.查询表中存在的锁 se...
KETTLE使用手册-01
always_mountain_top的博客
05-19 4972
Kettle是一个开源的ETL工具,它可以实现数据的抽取、转换、和加载。在Kettle中,数据抽取和转换的处理过程是通过kjb(作业)和ktr(转换)来实现的。本手册将介绍如何配置数据库连接,设置变量,使用Kettle中的控件设计ETL流程。
项目裁剪表的形成
weixin_43837952的博客
08-01 5325
裁剪表的依据 在第一篇已经听到过项目裁剪表这个名词，每个项目都会有一个独自的裁剪表，这个裁剪表的形成依据是项目计划。项目计划由项目经理提供，一般项目计划会标明里程碑节点，节点的输出物等。QA就根据该项目计划，制定项目裁剪表。当然了，是把一张总的裁剪表，裁剪成适合该项目的裁剪表。 裁剪表的必须物 虽然每个项目的裁剪表可能会不尽相同，但其实大同小异。因为有一些文档是必须要有的，比如说《需求规格说明书》...
kettle-数据同步比较数据（删除更新）
大帅的博客
11-11 1万+
需求是这样的： 从A数据库取数据到B数据库，A库中表只包含有效数据，因此同步到B库中也只能包含有效数据，其他的数据要么更新，要么删除，或者新增。 总体解决方案： 因为脚本是第三方执行的，我们没有权限执行脚本，同样也没有第三方也就是上面说的A库的权限，因此我们一开始一直纠结怎么取数据，把解决问题的点一直关注B库，后来才反应过来，既然是第三方执行脚本，他们有A库权限，那么执行脚本应该把A库算在可执行...
【Kettle从零开始】第七弹之Kettle作业中常用组件介绍
RotKang
03-11 1万+
Kettle版本：3.2GA JDK版本：1.6.0_41 OS：NT
kettle入门(六) 之kettle抽取变量表名表
热门推荐
xiaohai798的专栏
05-17 3万+
kettle抽取变量表名表Job
Kettle 8.1 转换组件详解
"这份文档详细介绍了Kettle 8.1版本中的转换组件，包括值映射、列拆分为多行、列转行、裁剪字符串、去除重复记录、合并字段、唯一行（哈希值）、增加常量、增加序列、增加校验和和字段选择等组件，旨在帮助用户理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值