Kettle解决主键重复的问题（Oracle-MySQL）

最新推荐文章于 2023-07-05 12:10:28 发布
最新推荐文章于 2023-07-05 12:10:28 发布
阅读量4.2k 收藏 5
点赞数 3
分类专栏： KETTLE
原文链接：https://blog.csdn.net/qq_32448349/article/details/87912944
版权

Oracle入库MySQL数据kettle界面如下图：
在这里插入图片描述
如果主键重复会报下面错误

在这里插入图片描述

而且会停止抽取数据，碰到这种情况，我们需要使用另一个输出，插入或更新，如下图

在这里插入图片描述

拖一个到右边替换表输出。替换后如下图

在这里插入图片描述

点击插入/更新配置数据源信息，在我划线的地方只保留主键的列，在更新字段下面可以主键重复时是否更新 (Y/N)

在这里插入图片描述

点击运行
在这里插入图片描述

T小min
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kettle7.0实现主键，索引迁移
盛夏温暖流年
06-05 3069
之前的博客提到过，kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等，但这些对于数据库来说又是至关重要的，所以我们需要通过修改源码的方式来实现。 具体实现方式为：扩展kettle向导中的多表复制菜单里的功能，在该功能创建的作业中添加节点用于添加输出表的主键和索引。 一、Kettle源码下载 目前我使用的是kettle7.0.0版本，下载的源...
KETTLE 主键不唯一解决方法
kodmoqn的博客
10-04 566
KETTLE 主键不唯一解决方法
解决数据迁移过程中主键冲突的问题
z_623623的博客
12-09 1465
数据迁移遇到主键冲突的问题
kettle 表输入 显示重复_【Kettle】Kettle入门解析（二） - Main丶H
weixin_39630999的博客
10-22 287
(图片来源于网络，侵删)Kettle实战1(将Hive表的数据输出到Hdfs)【1】环境准备1)进入Kettle的plugins\pentaho-big-data-plugin目录，编辑文件根据自己的hadoop版本添加不同的类型，我的是cdh的，所以添加cdh514有哪些版本可以在该目录下查看plugins\pentaho-big-data-plugin\hadoop-configuration...
【三】当输入表是输出表从表时，两表主键不一致，如何使用kettle同步
qq_41444892的博客
07-05 714
输入表内容为输出表内容从表记录，即输入表记录是输出表记录中某一类型的记录，如何使用kettle同步
kettle 表输入 显示重复_这十个数据输入技巧，助你早下班
weixin_39765057的博客
11-20 436
点击上方 蓝字▲ 关注订阅 四大交流圈想进四大的都置顶了今日福利扫码添加小编VX好友领取《50套财务实用工作PPT模板》请在添加好友时备注：Excel▼▼▼一、输入人民币大写一句话概括：在中文拼音输入法下，先输入字母V，再输入数字。二、输入与上一行相同内容输入与上一行同样的内容：Ctrl+D此方法的高效率，不用韩老师描述吧？三、输入已有内容按住组合键Alt+↓，单元格上方已经输入的...
kettle连接oracle12C--报错ORA-28040 没有匹配的验证协议.rar
02-25
总之，"ORA-28040：没有匹配的验证协议"是一个常见的Oracle连接问题，需要结合Kettle的配置和Oracle数据库的设置来解决。通过以上分析和解决方案，你应该能够找到解决问题的方法，顺利连接到Oracle 12c数据库。
kettle分享，已经包含oracle和mysql连接驱动
04-22
在这个分享中，我们关注的重点是Kettle与Oracle及MySQL数据库的连接驱动。 Oracle数据库是全球广泛使用的大型企业级关系型数据库管理系统，其稳定性和性能被众多公司所信赖。Kettle通过JDBC（Java Database ...
kettle oracle批量加载-Oracle Bulk Loader
09-19
kettle快速加载到oracle之oracle批量加载-Oracle Bulk Loader
ETL工具kettle7.1的oracle和mysqll驱动
最新发布
06-04
总的来说，Kettle 7.1的Oracle和MySQL驱动为我们提供了强大的数据集成能力，无论是在大型企业级的Oracle系统还是在轻量级的MySQL环境中，都能灵活地进行数据操作。正确配置并使用这些驱动，可以确保ETL过程的顺利...
kettle统计重复记录个数及明细
08-08
统计重复数据的个数，及相同记录都有哪些，如有不懂的地方可随时联系
kettle下MySQL数据库驱动.zip
06-19
综上所述，"kettle下MySQL数据库驱动.zip"文件是为了解决Kettle在与MySQL数据库交互时遇到的连接问题，通过将驱动放入指定的lib目录，可以确保Kettle能够正确识别并使用MySQL的JDBC驱动，从而实现数据的提取、转换和...
kettle插入更新操作
热门推荐
bash020810的专栏
04-08 1万+
表结构 CREATETABLE `NewTable` ( `id`  int(11) NULL DEFAULT NULL , `name`  varchar(255) CHARACTER SET latin1 COLLATElatin1_swedish_ci NULL DEFAULT NULL , `age`  int(11) NULL DEFAULT NULL ) ENGINE=I
kettle-输出组件
qingxinziran007的专栏
10-23 1058
上一节，讲解了常用的输入组件（excel输入组件，文本输入组件，表输入组件，json输入组件）。对一个系统来说，有输入就必定有输出，输出组件反应的就是系统最终的处理结果，也就是业务产出。熟练的掌握输入输出组件，是学习kettle的关键环节，也是分析业务需求的重要法宝。 本节将针对上一节中的输入组件，讲解其相对应的输出组件。这样便可以使同学们掌握kettle的基础运用能力。 excel输出组件 工作中经常会遇到需要将从接口中查询出的数据导出为excel文件...
MySql基础，MySql表数据操作
ghb741649543的博客
08-27 1104
文章目录MySQL操作表中数据MySQL 数据表查询语句查询表中所有字段使用“*”查询表的所有字段列出表的所有字段查询表中指定的字段MySQL过滤重复数据MySQL 设置别名为表指定别名为字段指定别名MySQL限制查询结果的条数指定初始位置不指定初始位置LIMIT和OFFSET组合使用MySQL 对查询结果排序单字段排序多字段排序MySQL 条件查询数据单一条件的查询语句多条件的查询语句MySQL 模糊查询带有“%”通配符的查询带有“_”通配符的查询LIKE 区分大小写使用通配符的注意事项和技巧MySQL
利用kettle完成mysql表的数据去重
qq_38650808的博客
04-30 1153
利用kettle完成简单的mysql表到mysql表的数据传输完成效果如下表输入排序字段去除重复记录字段选择表输出 完成效果如下 表输入 排序字段 去除重复记录 字段选择 表输出 ...
插入表主键冲突做更新
john_qh的博客
07-18 1286
有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sq...
Kettle基于字段去除重复记录操作过程
Phor的博客
03-24 2555
1> 如果新表尚未建立，在设定好表输出后的新表名字后，点击【SQL】按钮，即可建立新的空表。如果数据庞大，在建表后，方案开始执行之前，记得 提前把需要的索引先建立出来。比较庞大的数据中，想要根据一个或者多个字段判别是否位重复 数据的去重复操作。2.根据去重字段排序【转换】【排序记录】设定字段（去重复字段）排序。1.数据源输入 菜单中的【输入】【表输入】设定自己的数据源方案。3.去重复操作 【转换】【去除重复记录】设定字段。4.处理后的数据输出至新表 【输出】【表输出】本案例以mysql为案例描述。
使用Kettle数据迁移添加主键和索引
weixin_34146805的博客
04-11 2885
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，主要用于数据抽取、转换、装载。kettle兼容了市面上几十种数据库，故用kettle来做数据库的迁移视乎是个不错的选择。 kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等等，而这些东西恰恰都是数据迁移需要考虑的事情。当然，如果在不考...
Kettle安装解决 缺少libwebkitgtk-1.0-0库问题
06-03
要解决缺少libwebkitgtk-1.0-0库的问题，可以按照以下步骤进行Kettle安装： 1. 打开终端，并输入以下命令，以确保系统已经安装了libwebkitgtk-1.0-0库： ``` sudo apt-get install libwebkitgtk-1.0-0 ``` 2. 下载Kettle的安装文件，可以从官网或者其他途径获取。 3. 解压下载的文件，进入解压后的文件夹。 4. 在终端输入以下命令，以给安装文件添加可执行权限： ``` chmod +x spoon.sh ``` 5. 最后，在终端输入以下命令，以启动Kettle： ``` ./spoon.sh ``` 这样，你就可以成功安装Kettle，并且解决了缺少libwebkitgtk-1.0-0库的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值