解决数据迁移过程中主键冲突的问题

最新推荐文章于 2023-07-05 12:10:28 发布
最新推荐文章于 2023-07-05 12:10:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： bug解决 文章标签： 数据库 oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z_623623/article/details/128252969
版权

最近使用kettle将oracle数据库数据向mysql数据库迁移时，遇到了主键冲突的问题，解决办法如下：

distinct和rowid认识： 

distinct：只能针对字段去重，不能用于关联查询，使用distinct是针对字段组合使用的，所有字段组合起来不重复，不能解决主键冲突，它只是去重了主键，但关联结果还是笛卡尔积结果

rowid：rowid，rownum就是oracle内置的虚拟字段，rowid就是一条数据的唯一标识，rownum就是用于分页用的，max（rowid）表示取最新或者是最大的那一条数据

余悸-Shine
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mysql面试题25：数据库自增主键可能会遇到什么问题？应该怎么解决呢？
小小鱼儿小小林的博客
10-08 694
冲突问题：自增主键是通过自动递增生成的唯一标识符，但在某些情况下可能会出现重复的主键值，导致冲突。这可能发生在数据导入、数据同步等情况下，如果没有正确处理冲突，可能导致数据不一致或插入失败。
MySQL新增数据、主键冲突、蠕虫复制
公众号：前端铁蛋
09-30 852
新增数据 标准语法 Insert into 表名 [（字段列表）]values（值列表）； 在数据插入的时候，假设主键对应的值已经存在：插入一定会失败！ 主键冲突 当主键存在冲突的时候（duplicate key）可以选择性的进行处理，更新和替换 主键冲突：更新操作 Insert into 表名[（字段列表：包含主键）] values（值列表）on duplicate key update 字段=...
Kettle（三）数据写入错误如何处理？
king的专栏
01-31 4189
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：阻断执行、忽略错误继续执行、记录错误数据。1.阻断执行Kettle的默认执行方式，不做任何异常处理即为阻断执行逻辑，不做太多赘述。2.忽略错误继续执行。
mysql 导入主键冲突_数据导入主键冲突问题
weixin_32304077的博客
01-17 1160
0、导读用LOAD DATA导入数据却一直提示主键冲突问题解决案例。1、问题描述有位学生遇到数据导入时一直提示1022主键冲突问题，而导入的数据明明完全没有任何冲突，百思不得其解，请我帮忙协查。下面是关于该问题现象描述：1、表结构DDLCREATE TABLE `wcp` (`id` int(10) unsigned NOT NULL AUTO_INCREMENT,`txcode` char(4)...
mysql 导入主键冲突_MySQL 处理插入过程中的主键唯一键重复值的解决方法
weixin_35213963的博客
01-17 654
本篇文章主要介绍在插入数据到表中遇到键重复避免插入重复值的处理方法，主要涉及到IGNORE,ON DUPLICATE KEY UPDATE,REPLACE；接下来就分别看看这三种方式的处理办法。IGNORE使用ignore当插入的值遇到主键(PRIMARY KEY)或者唯一键(UNIQUE KEY)重复时自动忽略重复的记录行，不影响后面的记录行的插入，创建测试表?正常的插入如果插入的记录中存在键重...
Kettle解决主键重复的问题（Oracle-MySQL）
qq_42609863的博客
12-09 4329
Data Integration - Kettle8.2 使用数据转换抽取oralce到mysql（主键重复） 如果主键重复会报下面错误 而且会停止抽取数据，碰到这种情况，我们需要使用另一个输出，插入或更新，如下图 拖一个到右边替换表输出。替换后如下图 点击插入/更新配置数据源信息，在我划线的地方只保留主键的列，在更新字段下面可以主键重复时是否更新 (Y/N) 点击运行 ...
【三】当输入表是输出表从表时，两表主键不一致，如何使用kettle同步
qq_41444892的博客
07-05 837
输入表内容为输出表内容从表记录，即输入表记录是输出表记录中某一类型的记录，如何使用kettle同步
kettle到MySQL主键冲突_dble作为kettle的表输出时会导致错误处理步骤失效直接中断kettle转换而mycat则正常...
weixin_39957835的博客
02-01 774
跟踪kettle执行源码发现是由于调用jbdc批处理引起，下面时候bug还原测试public static void main(String[] args) {//String URL = "jdbc:mysql://localhost:8066/kfxt?characterEncoding=utf-8";//测试用dble数据库String URL = "jdbc:mysql://localho...
历史数据迁移那些事.docx
最新发布
09-08
尽量在业务低峰期执行数据迁移任务，同时确保迁移过程中避免出现大量的锁竞争和阻塞。 任务调度（Job运行时间）应根据业务周期安排，确保在不影响业务的情况下进行。若迁移时间超出预期，应中断任务并优化迁移过程...
sysbench花式采坑之二：自增值导致的主键冲突
woqutechteam的博客
11-23 1508
上期《sysbench花式采坑之一：自增值导致的TPS不可靠》介绍到，在sysbench压测过程中，如果自增值不为1会导致性能测试值偏高的现象，其实在发现这个现象之前，在单实例性能测试时我还遇到了一个主键冲突的问题。 | MySQL单实例sysbench压测时出现主键冲突 《sysbench花式采坑之一：自增值导致的TPS不可靠》这篇文章里解释了sysbench关于插入的操作是先随机生一个id...
mysql数据迁移数据一致性检教6_数据迁移后的一致性校验
weixin_39815345的博客
01-26 1366
背景目前正在对 scala 项目(某块业务)重构，重构成 Java 微服务，业务、表设计都有些许变化，其中涉及到数据迁移，简单来说就是从老表迁到新表(表结构发生了变化)。为了保证迁移前后数据的一致性，需要进行一些必要的验证。本文主要讨论下自己在进行数据一致性校验时用到的方法，仅仅作为一种数据验证的思路，分享给大家，内容可能有一些瑕疵，欢迎大家指正。1.数据迁移场景描述以下只列举几个特殊场景:sca...
mysql同步跳过主键冲突_双向同步报主键冲突和唯一索引冲突，如何解决或跳过...
weixin_31862047的博客
01-20 802
Caused by: com.alibaba.otter.node.etl.load.exception.LoadException: com.alibaba.otter.node.etl.load.exception.LoadException: com.alibaba.otter.node.etl.load.exception.LoadException: org.springframewor...
kettle跨库迁移【主键丢失问题-源码分析】
热门推荐
青衫烟雨客的专栏
11-10 1万+
kettle跨库迁移-主键丢失问题 此片文章将深入kettle源码分析，实现目前迁库需要的功能，本迁库方案参考其他文章（kettle的一套流程完成对整个数据库的迁移）的同时，也分别用kettle-4.2、kettle-6.1工具实现过，也搭建kettle-6.1源码调试，修改编译后实现过。现在把其中遇到的问题，将结合源码的形式进行总结。
插入表主键冲突做更新
john_qh的博客
07-18 1290
有以下场景： 用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 问题： 如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 解决： mysql中提供了一个sq...
mysql 导入主键冲突_innodb_index_stats导入备份数据时报错表主键冲突的解决方法
weixin_32589877的博客
01-17 507
故障描述percona5.6，mysqldump全备份，导入备份数据时报错Duplicate entry 'hoc_log99-item_log_27-PRIMARY-n_diff_pfx01' for key 'PRIMARY'故障原因查看了下这个主键应该是MySQL系统库下的系统表innodb_index_statsmysql> show create table innodb_inde...
KETTLE 主键不唯一解决方法
kodmoqn的博客
10-04 576
KETTLE 主键不唯一解决方法
Kettle7.0实现主键，索引迁移
盛夏温暖流年
06-05 3078
之前的博客提到过，kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等，但这些对于数据库来说又是至关重要的，所以我们需要通过修改源码的方式来实现。 具体实现方式为：扩展kettle向导中的多表复制菜单里的功能，在该功能创建的作业中添加节点用于添加输出表的主键和索引。 一、Kettle源码下载 目前我使用的是kettle7.0.0版本，下载的源...
使用Kettle数据迁移添加主键和索引
weixin_34146805的博客
04-11 2897
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，主要用于数据抽取、转换、装载。kettle兼容了市面上几十种数据库，故用kettle来做数据库的迁移视乎是个不错的选择。 kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等等，而这些东西恰恰都是数据迁移需要考虑的事情。当然，如果在不考...
SQL主键冲突或者唯一索引冲突更新duplicate key update ... values()
haoweng4800的博客
08-23 3476
**说明： 1. on duplicate key update 含义： 1)如果在INSERT语句末尾指定了 on duplicate key update， 并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值， 则在出现重复值的行执行UPDATE； 2)如果不会导致唯一值列重复的问题，则插入新行。 2. values(col_name)函数只是取当前插入语句中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

余悸-Shine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值