（进阶篇_01）Oracle数据同步3种场景

最新推荐文章于 2024-06-27 10:57:59 发布
最新推荐文章于 2024-06-27 10:57:59 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： ETL 文章标签： oracle数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40816738/article/details/112299606
版权

文章目录

一、场景分析

单表单表同数据同步

字段数量和字段类型一致有2种情况：

第1种：oracle 原表和目标表 表名称一样，原表和目标表的字段数量以及字段类型一致。
第2种：oracle 原表和目标表 表名称不一样，原表和目标表的字段数量以及字段类型必须一致。

字段不一致有2种情况：

第一种：oracle 原表和目标表 名称一样，也可以不一样，但是，原表和目标表字段数量可以不一致，原表字段比目标表的字段数少。
第二种：oracle 原表和目标表 名称一样，也可以不一样，但是，原表和目标表字段数量可以不一致，原表字段比目标表的字段数多。

二、实战

字段数量和字段类型一致有2种情况：

第1种：oracle 原表和目标表 表名称一样，原表和目标表的字段数量以及字段类型一致。
第2种：oracle 原表和目标表 表名称不一样，原表和目标表的字段数量以及字段类型必须一致。

2.1. 创建原表表结构+初始化数据

ORACLE使用批量插入100万测试数据
https://gblfy.blog.csdn.net/article/details/113556382

2.2. 创建目标表表结构
CREATE TABLE test_data
(
    ID varchar2(32),
    NAME1 varchar2(9),
    NAME2 varchar2(100),
    NAME3 varchar2(100)
);
COMMENT ON TABLE test_data IS '测试表';
2.3. 同步前效果图

原表1000000条数据

SELECT count(*) FROM test_data;

在这里插入图片描述

2.4. 连接串
#格式：cd {YOUR_DATAX_HOME}/job
cd /app/datax/dca/job
vim oracle-base.json

内容如下：

{
    "job": {
        "content": [
            {
                "reader": {
                "name": "oraclereader",
                "parameter": {
                    "column": ["*"],
                    "connection": [{
                        "jdbcUrl": ["jdbc:oracle:thin:@ip地址:1521:数据库名称"],
                        "table": ["用户(大写).${originTableName}"]
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            },
            "writer": {
                "name": "oraclewriter",
                "parameter": {
                    "column": ["*"],
                    "connection": [{
                        "jdbcUrl": "jdbc:oracle:thin:@ip地址:1521:数据库名称",
                        "table": ["用户(大写).${targetTableName}"]
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            }

        }],
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}
2.5. 执行同步
#格式：python {YOUR_DATAX_HOME}/bin/datax.py -p"-DoriginTableName='目标表名' -DtargetTableName='原表名'" {YOUR_DATAX_HOME}/job/oracle2oracle-oldCS.json;
python /app/datax/bin/datax.py -p"-DoriginTableName='TEST_DATA' -DtargetTableName='TEST_DATA'" /app/datax/job/dca/oracle-base.json
2.6.执行后效果图

原表
在这里插入图片描述

目标表
在这里插入图片描述

2.7.操作记录
[root@localhost job]# python /app/datax/bin/datax.py -p"-DoriginTableName='TEST_DATA' -DtargetTableName='TEST_DATA'" /app/datax/job/dca/oracle-base.json


2021-02-02 17:30:19.114 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-02-02 17:30:19.114 [job-0] INFO  StandAloneJobContainerCommunicator - Total 1000000 records, 37555584 bytes | Speed 3.58MB/s, 100000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 6.049s |  All Task WaitReaderTime 1.829s | Percentage 100.00%
2021-02-02 17:30:19.115 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-02-02 17:30:08
任务结束时刻                    : 2021-02-02 17:30:19
任务总计耗时                    :                 10s
任务平均流量                    :            3.58MB/s
记录写入速度                    :         100000rec/s
读出记录总数                    :             1000000
读写失败总数                    :                   0

[root@localhost job]#
三、实战场景2（第1种）

字段不一致有2种情况：

第一种：oracle 原表和目标表 名称一样，也可以不一样，但是，原表和目标表字段数量可以不一致，原表字段比目标表的字段数少。

3.1. 原表表结构+初始化数据
DROP table HERO;

-- Create table
create table HERO
(
  SNO       VARCHAR2(20) not null,
  USER_NAME VARCHAR2(20),
  AGE       NUMBER(3),
  PRIMARY KEY (SNO)
);
-- Add comments to the table 
comment on table HERO  is '英雄信息表';

-- Add comments to the columns 
comment on column HERO.SNO  is '英雄编码';
comment on column HERO.USER_NAME  is '英雄名称';
comment on column HERO.AGE  is '英雄年龄';

insert into HERO (SNO, USER_NAME, AGE) values ('1', '盖伦', '1');
insert into HERO (SNO, USER_NAME, AGE) values ('2', '小丑', '2');
insert into HERO (SNO, USER_NAME, AGE) values ('3', '莫甘娜', '3');
insert into HERO (SNO, USER_NAME, AGE) values ('4', '寒冰', '4');
insert into HERO (SNO, USER_NAME, AGE) values ('5', '剑圣', '5');
insert into HERO (SNO, USER_NAME, AGE) values ('6', '剑圣', '6');
3.2. 目标表表结构
DROP table HERO;

-- Create table
create table HERO
(
  SNO       VARCHAR2(20) not null,
  USER_NAME VARCHAR2(20),
  AGE       NUMBER(3),
  LLMEDSERIALNO VARCHAR2(20),
  MAKEDATE  DATE,
  MAKETIME  VARCHAR2(8),
  PRIMARY KEY (SNO)
);

-- Add comments to the table 
comment on table HERO  is '英雄信息表';

-- Add comments to the columns 
comment on column HERO.SNO  is '英雄编码';
comment on column HERO.USER_NAME  is '英雄名称';
comment on column HERO.AGE  is '英雄年龄';
3.3. 连接字符串
vim oracle-more.json

{
    "job": {
        "content": [{
            "reader": {
                "name": "oraclereader",
                "parameter": {
                    "where": "",
                    "connection": [
                        {
                            "querySql": [
                                "select a.*,  (ROWNUM+72500072689218919812) LLMEDSERIALNO, to_date('2021-1-4','yyyy-mm-dd') MAKEDATE, to_char(SYSDATE,'hh24:mi:ss') MAKETIME  from 用户大写.${originTableName} a where 1=1"
                        ],
			"jdbcUrl": ["jdbc:oracle:thin:@ip地址:1521:数据库名称"],
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            },
            "writer": {
                "name": "oraclewriter",
                "parameter": {
                    "column": ["*"],
                    "connection": [{
                        "jdbcUrl": "jdbc:oracle:thin:@ip地址:1521:数据库名称",
                        "table": ["用户大写.${targetTableName}"]
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            }
        }],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}
3.4. 数据同步前效果图

在这里插入图片描述
在这里插入图片描述

3.5. 数据同步命令
python /app/datax/bin/datax.py -p"-DtableName='HERO' -DoracletableName='HERO'" -j"-Xms2g -Xmx2g" /app/datax/job/dca/oracle-more.json
3.6. 数据同步后效果图

原表
在这里插入图片描述

目标表
在这里插入图片描述

3.7. 操作记录
[root@localhost job]#python /app/datax/bin/datax.py -p"-DtableName='HERO' -DoracletableName='HERO'" -j"-Xms2g -Xmx2g" /app/datax/job/dca/oracle-more.json

2021-02-02 18:07:06.575 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-02-02 18:07:06.575 [job-0] INFO  StandAloneJobContainerCommunicator - Total 6 records, 241 bytes | Speed 24B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2021-02-02 18:07:06.576 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-02-02 18:06:56
任务结束时刻                    : 2021-02-02 18:07:06
任务总计耗时                    :                 10s
任务平均流量                    :               24B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   6
读写失败总数                    :                   0
四、实战场景2（第2种）

字段不一致有2种情况：

第二种：oracle 原表和目标表 名称一样，也可以不一样，但是，原表和目标表字段数量可以不一致，原表字段比目标表的字段数多。

4.1. 原表表结构+初始化数据
DROP table HERO;

-- Create table
create table HERO
(
  SNO       VARCHAR2(20) not null,
  USER_NAME VARCHAR2(20),
  AGE       NUMBER(3),
  LLMEDSERIALNO VARCHAR2(20),
  MAKEDATE  DATE,
  MAKETIME  VARCHAR2(8),
  PRIMARY KEY (SNO)
);

-- Add comments to the table 
comment on table HERO  is '英雄信息表';

-- Add comments to the columns 
comment on column HERO.SNO  is '英雄编码';
comment on column HERO.USER_NAME  is '英雄名称';
comment on column HERO.AGE  is '英雄年龄';

insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('1', '盖伦', '1', '72500072689218919813', '2021-01-04', '18:18:25');
insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('2', '小丑', '2', '72500072689218919814', '2021-01-04', '18:18:25');
insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('3', '莫甘娜', '3', '72500072689218919815', '2021-01-04', '18:18:25');
insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('4', '寒冰', '4', '72500072689218919816', '2021-01-04', '18:18:25');
insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('5', '剑圣', '5', '72500072689218919817', '2021-01-04', '18:18:25');
insert into HERO (SNO, USER_NAME, AGE, LLMEDSERIALNO, MAKEDATE, MAKETIME) values ('6', '剑圣', '6', '72500072689218919818', '2021-01-04', '18:18:25');
4.2. 目标表表结构
DROP table HERO;

-- Create table
create table HERO
(
  SNO       VARCHAR2(20) not null,
  USER_NAME VARCHAR2(20),
  AGE       NUMBER(3),
  PRIMARY KEY (SNO)
);

-- Add comments to the table 
comment on table HERO  is '英雄信息表';

-- Add comments to the columns 
comment on column HERO.SNO  is '英雄编码';
comment on column HERO.USER_NAME  is '英雄名称';
comment on column HERO.AGE  is '英雄年龄';
4.3. 连接字符串
vim oracle-short.json

{
    "job": {
        "content": [{
            "reader": {
                "name": "oraclereader",
                "parameter": {
                    "where": "",
                    "connection": [
                        {
                            "querySql": [
                                "select a.SNO,a.USER_NAME,a.AGE  from 用户大写.${originTableName} a where 1=1"
                        ],
			"jdbcUrl": ["jdbc:oracle:thin:@ip地址:1521:数据库名称"],
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            },
            "writer": {
                "name": "oraclewriter",
                "parameter": {
                    "column": ["*"],
                    "connection": [{
                        "jdbcUrl": "jdbc:oracle:thin:@ip地址:1521:数据库名称",
                        "table": ["用户大写.${targetTableName}"]
                    }],
                    "password": "用户名",
                    "username": "密码"
                }
            }
        }],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}
4.4. 数据同步前效果图

在这里插入图片描述
在这里插入图片描述

4.5. 数据同步命令
python /app/datax/bin/datax.py -p"-DtableName='HERO' -DoracletableName='HERO'" -j"-Xms2g -Xmx2g" /app/datax/job/dca/oracle-short.json
4.6. 数据同步后截图

原表
在这里插入图片描述
目标表
在这里插入图片描述

4.7. 数据同步操作记录
[root@localhost dca]# python /app/datax/bin/datax.py -p"-DtableName='HERO' -DoracletableName='HERO'" -j"-Xms2g -Xmx2g" /app/datax/job/dca/oracle-short.json
2021-02-02 18:27:18.498 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-02-02 18:27:18.499 [job-0] INFO  StandAloneJobContainerCommunicator - Total 6 records, 25 bytes | Speed 2B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2021-02-02 18:27:18.499 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-02-02 18:27:07
任务结束时刻                    : 2021-02-02 18:27:18
任务总计耗时                    :                 10s
任务平均流量                    :                2B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   6
读写失败总数                    :                   0
gblfy
关注
专栏目录
【云原生进阶之数据库技术】第二章-Oracle-使用-3.2.1-Oracle ogg原理剖析
junbaozi的专栏
05-26 646
OGG（Oracle GoldenGate）属于Oracle Fusion Middleware产品线，2009年被Oracle收购，它是Oracle Stream的替代者。OGG软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库的同步。
【云原生进阶之数据库技术】第二章-Oracle-使用-3.3.1-Oracle Data Guard综述
junbaozi的专栏
05-27 1086
Oracle DG，即Oracle Data Guard，是一种数据库容灾和数据保护解决方案，旨在提供高可用性和灾难恢复能力。它通过在主数据库和备用数据库之间实时复制数据来实现这一点。Data Guard的核心功能在于它能够保持主节点和备用节点之间的数据一致性，即使发生故障也能保证业务的连续性。Oracle Data Guard是Oracle MAA(Maximum Availability Architecture)中的成员之一，也是MAA中技术要求最简单的方案之一。
oracle两个表之间的同步,利用DB Link两步搞定Oracle两个数据库间的表同步
weixin_39538693的博客
04-04 987
一、实现目标：要实现从源表：AAA到目标表：BBB的数据同步。二、在目标机上建立Oracle DB Link：1、 在network/admin/tnsname.ora文件中加入源库的连接信息，如：AAA=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=10.5.1.3)(PORT=1521))(CONNECT_DATA=(SERVER=...
oracle 同步数据库表数据
mi333ni的专栏
10-25 775
oracle 同步数据库表数据create synonym 目标表名 for 来源表的用户.来源表;
使用datax实现数据库同步Oracle到Mysql(保姆级)
最新发布
qq_52329225的博客
06-27 2147
使用datax实现oracle同步数据到mysql
oracle快照同步表数据,Oracle 快照及 dblink使用 (两台服务器数据同步)
weixin_35860675的博客
04-15 165
--名词说明：源——被同步的数据库-- 目的——要同步到的数据库/*一、创建dblink：*/--1、在目的数据库上，创建dblindrop public database link dblink_anson;Create publicdatabase link dblink_ansonConnect to lg identified by lg using 'SDLGDB';-...
oracle两个表数据同步备份
大数据同盟会的博客
12-06 4395
这段时间做sqoop2数据导出，需要先将数据导入到中间表，然后将中间表的数据同步到目的表，中间表和目的表字段完全一样，只是表的名称不一致。 方式一：触发器 触发器：是一个与表相关联的、存储的PL/SQL程序。每当一个特定的数据操作语句(Insert,update,delete)在指定的表上发出时，Oracle自动地执行触发器中定义的语句序列。 相当于监视器，对表中数据进行增，删，改时候自动工作，如...
oracle表数据同步 merge语法
java_niuniu1016的博客
12-16 1934
简介 MERGE语句是SQL语句的一种。在SQL Server、Oracle数据库中可用，MySQL、PostgreSQL中不可用。MERGE是Oracle9i新增的语法，用来合并UPDATE和INSERT语句。通过MERGE语句，根据一张表（原数据表，source table）或子查询的连接条件对另外一张（目标表，target table）表进行查询，连接条件匹配上的进行UPDAT
dataX mysql驱动5.x升级8.x步骤及遇到问题
12-14 4845
dataX mysql驱动5.x升级8.x升级背景dolphinscheduler datax 执行报错全部替换驱动包为高版本后，依然报相同的错版本升级下载datax源码导入工程，修改配置驱动升级后，修改报错代码AdsInsertProxy.java编译项目验证项目 升级背景 dolphinscheduler datax 执行报错 提示应使用新的驱动版本，现有驱动是5.x,数据库却是8.x,因此报错 2021-12-14 10:52:08.639 [main] WARN Engine - prioriy
Oracle+DataX+存储过程实现异构库之间的数据同步
07-10
本篇文章将详细讲解如何利用Oracle数据库、DataX框架以及Shell脚本来实现异构库之间的数据同步。 首先，我们来看标题中的“Oracle+DataX”。Oracle是全球广泛使用的商业关系型数据库管理系统，它提供了丰富的功能和...
Oracle数据库进阶-高可用性、性能优化和备份恢复
04-06
GoldenGate支持实时数据传输和事务一致性，非常适合于需要跨平台数据同步的场景。 #### 二、Oracle数据库性能优化 随着业务量的增长，数据库性能成为影响用户体验的关键因素之一。针对Oracle数据库，可以通过以下...
datax最新所有输入输出API说明
12-29
本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。
datax的异构数据同步
07-02
在上述示例中，`streamreader` 和 `streamwriter` 分别代表流式读取器和流式写入器，它们通常用于测试和演示，而不是实际的数据同步场景。在实际应用中，我们可能会使用 `mysqlreader` 和 `mysqlwriter` 来同步 ...
DataX HdfsReader 源码分析，及空文件 Bug修复和路径正则功能增强
Yore - Home
05-22 3491
本文主要在源码层面介绍了 DataX hdfsreader 模块，针对实际生产环境中出现的两个问题，一个是当用普通方式在 json 中指定 path 时，改文件夹下存在 空文件时异常；以及当使用正则方式指定 path 时当前仅支持 单字符和多字符，而直接使用字符集或者范围时会报错。针对这两个 Bug 在源码层面上进行了修复。
datax oracle to oracle存在时间精度丢失
hbhe0316的专栏
12-14 799
1.在源端Oracle创建表https://www.cndba.cn/hbhe0316/article/22826 SQL> create table t2 (T1 TIMESTAMP(6)); Table created. SQL> insert into t2 values(to_timestamp('2021-10-22 15:23:23.12345...
Datax使用踩坑经历
weixin_43876924的博客
03-22 2635
【代码】Datax使用踩坑经历。
异构数据源同步，DataX工具解决方案
wangsj_zz的博客
09-23 297
DataX是一个开源的异构数据同步工具
datax
bingCrisy的博客
01-05 77
【代码】datax。
数据同步之全量数据同步（一）
yang5324521的博客
12-20 3558
本文主要介绍源表为单表时，数据全量的情况。当源表为多表时，跟单表的情况差不多。 一、抽取情况说明 将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表A的表结构与目标表A的表结构完全一致。表结构如下图所示： 二、抽取过程 1、单次抽取流程图，如下图所示： 1)、删除目标表A中的所有数据记录。即在目标数据库T下执行下面语句：truncate ...
Oracle官方Java教学指南：从入门到进阶
这篇Oracle官方的JAVA教程是初学者和进阶者学习Java编程语言的重要资源。它涵盖了Java的基础概念到高级主题，旨在帮助用户全面理解并掌握Java编程技术。以下是一些关键知识点的详细说明： 1. **Java编程语言基础**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gblfy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值