oracle 去重_如何用gpss实现Oracle到Greenplum的增量同步

最新推荐文章于 2024-07-16 07:25:53 发布
最新推荐文章于 2024-07-16 07:25:53 发布
阅读量189 收藏 1
点赞数
文章标签： oracle 去重 oracle 排序 oracle 更新update语句 oracle去重 oracle批量update数据 oracle批量update语句
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39622217/article/details/111285597
版权
本文介绍了如何使用Oracle Golden Gate将增量数据转化为JSON并发送到Kafka，然后通过GPSS解析JSON消息，将更新应用到Greenplum目标表，实现了Oracle到Greenplum的增量同步。内容包括测试环境配置、数据去重与排序、Kafka消息格式以及gpss的Kafka JOB配置。
摘要由CSDN通过智能技术生成

bc257f317307aab21ec3c0b04e201f0b.gif

之前我们在《如何用gpss实现MySQL到Greenplum的增量同步》中详细介绍了MySQL到Greenplum增量同步的实现步骤。今天将给大家讲一讲Oracle到Greenplum又是如何实现的。

Oracle数据库虽然在OLTP领域仍有着毋庸置疑的优势地位，但在OLAP领域与Greenplum则是差距显著。如今已经有越来越多的分析型业务从Oracle迁移到Greenplum，在《如何从Oracle迁移到Greenplum》系列文章中，详细介绍了业务的迁移的最佳实践；而数据迁移中最核心的就是如何实现数据的实时增量同步。 对增量同步而言，gpss作为一个流计算框架，与源端是解耦的，因此只要Kafka topic中的消息，包含足够的信息，gpss都可以提取变化的数据并重放到gp中。 之前介绍了如何利用gpss同步来自Maxwell和Mysql的增量数据，这里再以Oracle Golden Gate为例，介绍如何实时同步来自Oracle的增量数据。

1

测试环境

  • Oracle
  • Oracle Golden Gate
  • Kafka 2.2.2
  • Greenplum 6.4.0
  • GPSS 1.3.6
我们要完成的工作是:

  • 通过GoldenGate将Oracle中的增量数据以json格式发送到Kafka (略)

  • 利用gpss解析kafka中的json消息

  • 将变化的数据更新到Greenplum的目标表中

2

测试数据简介

测试使用的表在Oracle中定义如下：

CREATE TABLE SIEBEL_TEST.TEST_POC(   ID numeric,   NAME varchar2 (50),   BIRTHDAY date)
其中 ID 列为键，用来唯一标识一条记录， NAME 和 BIRTHDAY 为更新字段 在源端分
最低0.47元/天 解锁文章
weixin_39622217
关注
ORACLE 数据全量/增量同步 merge into 方法
valkyrja110的博客
11-08 3905
ORACLE 数据全量/增量同步 merge into 方法一、业务介绍二、创建表三、准备数据四、merge into语法使用介绍1.主要综合学习了其他大佬的内容2.如果想全部插入3.删除数据 一、业务介绍 有old和new两张表，new是每天最新业务数据，old是上一天的业务数据，需要将new表中的数据更新或插入到old的主表中。 二、创建表 --创建第一张表 create table old( id number(10) , name varchar2(20) , age num
如何用gpss实现Oracle到Greenplum的增量同步
Greenplum中文社区
06-05 916
之前我们在《如何用gpss实现MySQL到Greenplum的增量同步》中详细介绍了MySQL到Greenplum增量同步的实现步骤。今天将给大家讲一讲Oracle到Greenplum又是如何实现的。 ​Oracle数据库虽然在OLTP领域仍有着毋庸置疑的优势地位，但在OLAP领域与Greenplum则是差距显著。如今已经有越来越多的分析型业务从Oracle迁移到Greenplum，在《如何从Oracle迁移到Greenplum》系列文章中，详细介绍了业务的迁移的最佳实践；而数据迁移中最核心的就是如何实现数
在两个ORACLE数据库之间实现数据增量同步
冷月宫主的专栏
11-27 1万+
在两个数据库中实现数据增量同步，令数据库之间的数据能够同步更新。 Oracle数据库IP：192.168.0.1（源库）、192.168.0.2（目标库） 1、在源库创建测试表TEST create table TEST(  ID          NUMBER not null,  NAME        VARCHAR2(200)); 2、插入一条数据 INSER
Oracle数据库：在缺乏增量日志时实现高效数据同步的策略
最新发布
kiingking的博客
07-16 353
在Oracle数据库中，如果没有启用增量日志（如补充日志或ARCHIVELOG模式下的归档日志），直接进行增量数据同步将会变得非常困难，因为数据库不会保留足够的历史信息来确定哪些行已经被修改或删除。在没有增量日志的情况下，最可靠和高效的同步方式通常是保持数据库在ARCHIVELOG模式下运行，并启用补充日志，以便利用Oracle的内置功能（如LogMiner或GoldenGate）进行增量数据同步。
Oracle通过函数调用dblink同步表数据方案（全量/增量）
JangBingYang的博客
07-13 1238
通过函数调用dblink的方式同步两个异地Oracle数据库表的数据
oracle standby同步,ORACLE 利用rman增量备份同步standby库
weixin_36317502的博客
04-11 311
standby库归档日志断档，故standby库不能利用恢复归档日志和生产库保持同步，因生产库有1T多，重拉数据将非常耗时，遂利用RMAN对生产库进行增量备份，将增量备份集合成到standby库，利用此方法就跨过了被删除的归档日志。具体方法如下：1。操作平台如下：SQL> select * from v$version;BANNER------------------------------...
oracle表增量同步到hive分区表
zxt880610的博客
07-22 792
#!/bin/bash # # import table from mysql into hive nargs=$# echo "argument num: $nargs " today=`date +%Y-%m-%d` one_day=`date +%Y-%m-%d -d'-1 day'` coll_db='' coll_tab='' coll_host_ip='' coll_host_port=1521 coll_tab_username='' coll_tab_passwd='' hive_d
如何用gpss实现MySQL到Greenplum的增量同步
Greenplum中文社区
05-07 949
​数据同步一般分为两种方式：全量和增量。增量数据是一类典型的流数据，基于日志的增量同步几乎已经是所有数据库的标配，它可以减少常规ETL工作对系统带来的影响，并大大降低数据的延迟。作为Greenplum的流计算引擎，Greenplum Stream Server（gpss）能将不同源端的增量数据同步到Greenplum中。为更好的支持这一应用场景，即将发布的gpss 1.3.6 对增量同步的功能做了...
Greenplum Cluster【部署 04】GPSS扩展安装并使用GPKafka实现Kafka数据导入Greenplum数据库（安装包网盘分享）_gpss greenplum
m0_60691292的博客
05-04 572
Greenplum Stream Server (GPSS)是一个ETL(提取、转换、加载)工具。GPSS服务器的一个实例从一个或多个客户机接收流数据，使用Greenplum数据库可读的外部表将数据转换并插入到目标Greenplum表中。数据源和数据格式是特定于客户机的。数据源和数据格式由客户端指定。
h5gPSS.rar_5G PSS_5G matlab_5g + matlab_comparee1r_m序列同步
07-14
文件"h5gPSS.m"很可能是实现5G PSS和m序列同步的MATLAB代码。在该代码中，可能会包含以下步骤： 1. 定义Zadoff-Chu序列和m序列的生成函数。 2. 应用适当的循环移位以匹配5G规范。 3. 合成PSS序列，结合Zadoff-Chu...
Linux执行greenplum脚本,oracle数据同步到Greenplum的shell脚本
weixin_34370110的博客
04-30 299
oracle数据同步到Greenplum的shell脚本此脚本在运行时会先把oracle数据按照指定的分隔符下载到磁盘的目录下,再用替换脚本替换需要的分隔符和ascii字符,具体的替换方法请查看fileAsciiReplaceScriptAll.sh脚本oracle 字段映射 Greenplum 字段说明以下字段类型是作者在实际使用时遇到的常见字段类型oracle字段Greenplum字段varc...
oracle数据同步到Greenplum的python脚本
08-31
1、脚本运行环境python3.6 2、脚本忽略LOB字段数据 3、脚本生成以^为分割符的csv格式文件 4、脚本避免转义字符将‘\’替换为‘/’,数据中存在分割符：^转换为# 5、特殊字符处理：删除：'\u0000'，'"',oracle数据回车符：'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件，方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同配置文件，多次执行达到并行处理（注意内存溢出） 例： 执行脚本 生成日志目录 配置文件 python3 Main_Mem.py ProcessLog1 config1.ini & python3 Main_Mem.py ProcessLog2 config2.ini & python3 Main_Mem.py ProcessLog3 config3.ini & python3 Main_Mem.py ProcessLog4 config4.ini & 10、采用python 中的copy_from方法实现导入greenplum 11、各目录用途： conf ：存放配置文件 etl_dat： 存放导出数据 log ：存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回方法 DumpCsv:导出csv文件方法 Log:日志输出方法 DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main：主程序目录： Main_Mem.py：主程序目录： 运行：python3 Main_Mem.py ProcessLog1 config.ini 12、主程序需要修改目录参数： if __name__ == '__main__': #引用编写的包 sys.path.append('/home/oracle/PyETL2.0/py_tool') import Log,DataBase,DumpCsv #输出日志路径： path = '/home/oracle/PyETL2.0/log/'+sys.argv[1] isExists = os.path.exists(path) if not isExists: os.makedirs(path) #shutil.move(path,path+) logger = Log.log(path) #读取配置文件 config = Confile('/home/oracle/PyETL2.0/conf/', sys.argv[2]) 13、后期还会更新，欢迎提供宝贵意见。
Gp常用函数
someInNeed的博客
10-13 2858
类型转换 select lpad(test::varchar,5,0) from public.test_yyyymmdd; test为nmeric类型的数据，转换为character varying 并且不足5为的在左边补一个0
Greenplum——大数据量写入和更新的性能优化之路
Carson073的博客
08-10 3194
2、在/home/gpadmin下面创建insert.sql文件，向表中插入一条随机数据。3、在/home/gpadmin下面创建read.sql文件， 从表中读取一条随机数据。-- 业务库insert和update的数据：tmp_incr_data。-- 目标表里不需要更新的数据：tmp_not_update_data。1、链接数测试，模拟224个客户端连接，8个线程，每个客户端8个事务。-- 今天过来的最新数据：tmp_update_data。：增量数据和目标表数据合并到临时表，然后覆盖目标表。....
OGG for kafka op_ts 和current_ts相差较大
cuiruipan6325的博客
04-30 1531
"op_type":"U","op_ts":"2019-04-30 07:04:36.844662","current_ts":"2019-04-30T15:07:36.778001","pos":"000000166302...
DataX oracle同步mysql(全量和增量)
热门推荐
zhuyu19911016520
04-13 1万+
datax sync oracle to mysql
Greenplum数据库中的数据更新操作与示例代码
iwork168的博客
01-12 388
以下是一个示例代码片段，演示如何使用UPDATE语句在Greenplum中更新数据： ```sql UPDATE table_name SET column1 = value1, column2 = value2 WHERE condition; ``` 假设我们想要更新"employees"表中某个部门的所有员工的职位。以下是一个示例代码片段，演示如何使用DELETE语句在Greenplum中删除数据： ```sql DELETE FROM table_name WHERE condition; ```
Greenplum数据库升级实务（下）
泰克轱辘儿
05-18 2350
上篇介绍了准备，这篇完成升级过程。
GPSS到GPSS/Java系统仿真：建模与案例分析
这个案例展示了如何利用GPSS进行系统建模，包括使用SIMULATE、GENERATE等指令来控制仿真过程。 接着，章节区分了仿真系统中的三种实体类型：动态实体、服务实体和辅助实体。动态实体如顾客和车辆，它们具有动态性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值