mysql ogg kafka,OGG到kafka替换目标端OGG

最新推荐文章于 2023-01-04 14:38:31 发布
最新推荐文章于 2023-01-04 14:38:31 发布
阅读量405 收藏 1
点赞数
文章标签： mysql ogg kafka

1.--源端

--停源端所有进程

stop *

stop mgr

2.--目标端进程

info REP_K4 showch---看RBA是否变化，查询checkpoint 表

send REP_K4 status--查看 有没有大事物

--确认上述信息OK，则停目标端所有进程

stop *

stop mgr

3.----新目标端

备份之前安装的软件

cd /data/ogg

mkdir bak

ls

bak  ggs12

cd ggs12

mv * ./../bak

cd /data/ogg

rm -rf ggs12

---目标库

[root@OGG-CLIENT ogg]# mkdir bak

[root@OGG-CLIENT ogg]# cd ggs12/

[root@OGG-CLIENT ggs12]# mv * ./../bak/

[root@OGG-CLIENT ggs12]# ls

4.---旧目标端，将全部信息传递到新的目标段

scp -r ggs12/ app@1.3.10.11:/data/ogg

5.启动所有进程

drwxr-x--- 2 app app  206 Jul  5 17:52 dirchk

drwxr-x--- 2 app app    6 Jul  2 20:23 dircrd--空

drwxr-x--- 2 app app 4096 Aug 20 22:15 dirdat

drwxr-x--- 2 app app 4096 Aug 20 20:52 dirdef

drwxr-x--- 2 app app  108 Jul 23 19:35 dirdmp

drwxr-x--- 4 app app   38 Aug 29  2017 diretc

drwxr-x--- 2 app app   24 Aug 29  2017 dirout

drwxr-x--- 2 app app  121 Aug 20 20:53 dirpcs

drwxr-x--- 2 app app  326 Jul 23 19:49 dirprm

drwxr-x--- 2 app app 8192 Aug 20 20:53 dirrpt

drwxr-x--- 2 app app    6 Jul  2 20:23 dirsql--空

drwxr-x--- 2 app app    6 Aug 20 20:53 dirtmp--空

drwxr-x--- 2 app app    6 Jul  2 20:23 dirwlt--空

drwxr-x--- 5 app app   46 Aug 29  2017 dirwww

---报错

2019-08-20 23:31:23  ERROR   OGG-01091  Unable to open file "/data/ggs12/dirdat/t1002322" (error 2, No such file or directory).

cd /data/ogg/ggs12/dirdat

[app@OGG-CLIENT dirdat]$ ll t1002322

cd /data/ogg/ggs12

./ggsci

stop mgr

[app@OGG-CLIENT data]$ ps -ef|grep mgr

app       96817      1  0 23:30 ?        00:00:00 ./mgr PARAMFILE /data/ogg/ggs12/dirprm/mgr.prm REPORTFILE /data/ogg/ggs12/dirrpt/MGR.rpt PROCESSID MGR

app       97030  96606  0 23:35 pts/0    00:00:00 grep --color=auto mgr

[app@OGG-CLIENT data]$ kill -9 96817

[app@OGG-CLIENT data]$ cd ggs12/

[app@OGG-CLIENT ggs12]$ ./ggsci

[app@OGG-CLIENT ogg]$ mv ggs12/ ./..

---再次报错

[app@OGG-CLIENT ggs12]$ ./ggsci

Oracle GoldenGate for Big Data

Version 12.3.1.1.1

Oracle GoldenGate Command Interpreter

Version 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608

Linux, x64, 64bit (optimized), Generic on Aug 28 2017 17:13:45

Operating system character set identified as UTF-8.

Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.

Source Context :

SourceModule            : [ggparam.repo]

SourceID                : [/scratch/aime/adestore/views/aime_adc4150324/oggcore/OpenSys/src/gglib/ggparam/paramrepo.cpp]

SourceMethod            : [open_specfile]

SourceLine              : [1221]

ThreadBacktrace         : [15] elements

: [/data/ggs12/libgglog.so(CMessageContext::AddThreadContext()+0x1e) [0x7fc673a2e54e]]

: [/data/ggs12/libgglog.so(CMessageFactory::CreateMessage(CSourceContext*, unsigned int, ...)+0x6ac) [0x7fc673a1ed4c]]

: [/data/ggs12/libgglog.so(_MSG_String_Int32_String(CSourceContext*, int, char const*, int, char const*, CMessageFactory::MessageDisposition)+0x4a) [0x7fc673a1226a]]

: [/data/ggs12/libggparam.so(ggs::ggparam::repo::open_specfile(char const*)+0x2f0) [0x7fc671b833b0]]

: [/data/ggs12/libggparam.so(ggs::ggparam::repo::open()+0x51) [0x7fc671b849e1]]

: [/data/ggs12/libggparam.so(ggs::ggparam::dict::dict()+0x104) [0x7fc671b8ccf4]]

: [/data/ggs12/libggparam.so(ggs::ggparam::dict::instance()+0x43) [0x7fc671b8cea3]]

: [./ggsci(readGlobalConfigFile()+0x59) [0x54b929]]

: [./ggsci() [0x62cecb]]

: [./ggsci(ggs::gglib::MultiThreading::MainThread::ExecMain()+0x5e) [0x5550de]]

: [./ggsci(ggs::gglib::MultiThreading::Thread::RunThread(ggs::gglib::MultiThreading::Thread::ThreadArgs*)+0x173) [0x5594a3]]

: [./ggsci(ggs::gglib::MultiThreading::MainThread::Run(int, char**)+0x140) [0x559d10]]

: [./ggsci(main+0x3b) [0x64c1cb]]

: [/lib64/libc.so.6(__libc_start_main+0xf5) [0x7fc66d119445]]

: [./ggsci(__gxx_personality_v0+0x299) [0x4b6529]]

2019-08-20 23:38:14  ERROR   OGG-10111  Error opening parameter definition file: /data/ogg/ggs12/ggparam.dat.

errno: 2 - No such file or directory.

2019-08-20 23:38:14  WARNING OGG-01525  Failed to open trace output file, '/data/ogg/ggs12/dirdmp/gglog-ggsci.dmp', error 2 (No such file or directory).

2019-08-20 23:38:14  ERROR   OGG-01668  PROCESS ABENDING.

[app@OGG-CLIENT ggs12]$ cd

[app@OGG-CLIENT ~]$ vi .bash_profile

[app@OGG-CLIENT ~]$ export OGG_HOME=

[app@OGG-CLIENT ~]$ cd /data/ggs12/

[app@OGG-CLIENT ggs12]$ ./ggsci

Oracle GoldenGate for Big Data

Version 12.3.1.1.1

Oracle GoldenGate Command Interpreter

Version 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608

Linux, x64, 64bit (optimized), Generic on Aug 28 2017 17:13:45

Operating system character set identified as UTF-8.

Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.

GGSCI (OGG-CLIENT) 1> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     STOPPED

REPLICAT    ABENDED     REP_K1    00:00:00      01:07:47

REPLICAT    ABENDED     REP_K2    00:00:00      01:07:47

REPLICAT    ABENDED     REP_K3    00:00:00      01:07:46

REPLICAT    ABENDED     REP_K4    00:00:00      01:07:45

REPLICAT    ABENDED     REP_K5    00:00:00      01:07:45

GGSCI (OGG-CLIENT) 2> start mgr

Manager started.

GGSCI (OGG-CLIENT) 3> info mgr

Manager is running (IP port OGG-CLIENT.8909, Process ID 97094).

GGSCI (OGG-CLIENT) 4> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING

REPLICAT    ABENDED     REP_K1    00:00:00      01:07:56

REPLICAT    ABENDED     REP_K2    00:00:00      01:07:56

REPLICAT    ABENDED     REP_K3    00:00:00      01:07:55

REPLICAT    ABENDED     REP_K4    00:00:00      01:07:54

REPLICAT    ABENDED     REP_K5    00:00:00      01:07:53

GGSCI (OGG-CLIENT) 5> start REP_K1

Sending START request to MANAGER ...

REPLICAT REP_K1 starting

GGSCI (OGG-CLIENT) 6> info REP_K1

REPLICAT   REP_K1  Last Started 2019-08-20 23:41   Status RUNNING

Checkpoint Lag       00:00:00 (updated 01:08:03 ago)

Process ID           97103

Log Read Checkpoint  File /data/ggs12/dirdat/t1002322

First Record  RBA 49652169

GGSCI (OGG-CLIENT) 7> !

info REP_K1

REPLICAT   REP_K1  Last Started 2019-08-20 23:41   Status RUNNING

Checkpoint Lag       01:11:06 (updated 00:00:00 ago)

Process ID           97103

Log Read Checkpoint  File /data/ggs12/dirdat/t1002324

2019-08-20 22:30:41.200193  RBA 8347811

[app@OGG-CLIENT ~]$ vi .bash_profile

[app@OGG-CLIENT ~]$ cat .bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

# User specific environment and startup programs

#export OGG_HOME=/data/ogg/ggs12

export OGG_HOME=/data/ggs12

JAVA_HOME="/home/app/jdk1.8.0_101"

CLASSPATH="$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"

NODE_HOME="/home/app/node-v8.11.2-linux-x64"

PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$NODE_HOME/bin

export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$LD_LIBRARY_PATH

stty erase ^h

export PATH

[app@OGG-CLIENT ~]$ source .bash_profile

[app@OGG-CLIENT ~]$ cd /data/ggs12/

ogg for kafka 平滑过渡方案落地   注意：原目标端ogg目录是啥，到目标端 ogg目录还得一致。

1.--源端

--停源端所有进程stop *stop mgr

2.--目标端进程info REP_K4 showch---看RBA是否变化，查询checkpoint 表send REP_K4 status--查看 有没有大事物

--确认上述信息OK，则停目标端所有进程stop *stop mgr

3.----新目标端备份之前安装的软件cd /data/oggmkdir bak

ls bak  ggs12

cd ggs12mv * ./../bak

cd /data/oggrm -rf ggs12

---目标库[root@OGG-CLIENT ogg]# mkdir bak[root@OGG-CLIENT ogg]# cd ggs12/[root@OGG-CLIENT ggs12]# mv * ./../bak/[root@OGG-CLIENT ggs12]# ls

4.---旧目标端，将全部信息传递到新的目标段scp -r ggs12/ app@10.3.120.151:/data/ogg

5.启动所有进程

drwxr-x--- 2 app app  206 Jul  5 17:52 dirchkdrwxr-x--- 2 app app    6 Jul  2 20:23 dircrd--空drwxr-x--- 2 app app 4096 Aug 20 22:15 dirdatdrwxr-x--- 2 app app 4096 Aug 20 20:52 dirdefdrwxr-x--- 2 app app  108 Jul 23 19:35 dirdmpdrwxr-x--- 4 app app   38 Aug 29  2017 diretcdrwxr-x--- 2 app app   24 Aug 29  2017 diroutdrwxr-x--- 2 app app  121 Aug 20 20:53 dirpcsdrwxr-x--- 2 app app  326 Jul 23 19:49 dirprmdrwxr-x--- 2 app app 8192 Aug 20 20:53 dirrptdrwxr-x--- 2 app app    6 Jul  2 20:23 dirsql--空drwxr-x--- 2 app app    6 Aug 20 20:53 dirtmp--空drwxr-x--- 2 app app    6 Jul  2 20:23 dirwlt--空drwxr-x--- 5 app app   46 Aug 29  2017 dirwww

---报错2019-08-20 23:31:23  ERROR   OGG-01091  Unable to open file "/data/ggs12/dirdat/t1002322" (error 2, No such file or directory).

cd /data/ogg/ggs12/dirdat[app@OGG-CLIENT dirdat]$ ll t1002322

cd /data/ogg/ggs12./ggscistop mgr

[app@OGG-CLIENT data]$ ps -ef|grep mgrapp       96817      1  0 23:30 ?        00:00:00 ./mgr PARAMFILE /data/ogg/ggs12/dirprm/mgr.prm REPORTFILE /data/ogg/ggs12/dirrpt/MGR.rpt PROCESSID MGRapp       97030  96606  0 23:35 pts/0    00:00:00 grep --color=auto mgr[app@OGG-CLIENT data]$ kill -9 96817[app@OGG-CLIENT data]$ cd ggs12/[app@OGG-CLIENT ggs12]$ ./ggsci

[app@OGG-CLIENT ogg]$ mv ggs12/ ./..

---再次报错

[app@OGG-CLIENT ggs12]$ ./ggsci Oracle GoldenGate for Big DataVersion 12.3.1.1.1

Oracle GoldenGate Command InterpreterVersion 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608Linux, x64, 64bit (optimized), Generic on Aug 28 2017 17:13:45Operating system character set identified as UTF-8.

Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.

Source Context :  SourceModule            : [ggparam.repo]  SourceID                : [/scratch/aime/adestore/views/aime_adc4150324/oggcore/OpenSys/src/gglib/ggparam/paramrepo.cpp]  SourceMethod            : [open_specfile]  SourceLine              : [1221]  ThreadBacktrace         : [15] elements                          : [/data/ggs12/libgglog.so(CMessageContext::AddThreadContext()+0x1e) [0x7fc673a2e54e]]                          : [/data/ggs12/libgglog.so(CMessageFactory::CreateMessage(CSourceContext*, unsigned int, ...)+0x6ac) [0x7fc673a1ed4c]]                          : [/data/ggs12/libgglog.so(_MSG_String_Int32_String(CSourceContext*, int, char const*, int, char const*, CMessageFactory::MessageDisposition)+0x4a) [0x7fc673a1226a]]                          : [/data/ggs12/libggparam.so(ggs::ggparam::repo::open_specfile(char const*)+0x2f0) [0x7fc671b833b0]]                          : [/data/ggs12/libggparam.so(ggs::ggparam::repo::open()+0x51) [0x7fc671b849e1]]                          : [/data/ggs12/libggparam.so(ggs::ggparam::dict::dict()+0x104) [0x7fc671b8ccf4]]                          : [/data/ggs12/libggparam.so(ggs::ggparam::dict::instance()+0x43) [0x7fc671b8cea3]]                          : [./ggsci(readGlobalConfigFile()+0x59) [0x54b929]]                          : [./ggsci() [0x62cecb]]                          : [./ggsci(ggs::gglib::MultiThreading::MainThread::ExecMain()+0x5e) [0x5550de]]                          : [./ggsci(ggs::gglib::MultiThreading::Thread::RunThread(ggs::gglib::MultiThreading::Thread::ThreadArgs*)+0x173) [0x5594a3]]                          : [./ggsci(ggs::gglib::MultiThreading::MainThread::Run(int, char**)+0x140) [0x559d10]]                          : [./ggsci(main+0x3b) [0x64c1cb]]                          : [/lib64/libc.so.6(__libc_start_main+0xf5) [0x7fc66d119445]]                          : [./ggsci(__gxx_personality_v0+0x299) [0x4b6529]]

2019-08-20 23:38:14  ERROR   OGG-10111  Error opening parameter definition file: /data/ogg/ggs12/ggparam.dat.errno: 2 - No such file or directory.

2019-08-20 23:38:14  WARNING OGG-01525  Failed to open trace output file, '/data/ogg/ggs12/dirdmp/gglog-ggsci.dmp', error 2 (No such file or directory).

2019-08-20 23:38:14  ERROR   OGG-01668  PROCESS ABENDING.[app@OGG-CLIENT ggs12]$ cd [app@OGG-CLIENT ~]$ vi .bash_profile [app@OGG-CLIENT ~]$ export OGG_HOME=[app@OGG-CLIENT ~]$ cd /data/ggs12/[app@OGG-CLIENT ggs12]$ ./ggsci Oracle GoldenGate for Big DataVersion 12.3.1.1.1

Oracle GoldenGate Command InterpreterVersion 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608Linux, x64, 64bit (optimized), Generic on Aug 28 2017 17:13:45Operating system character set identified as UTF-8.

Copyright (C) 1995, 2017, Oracle and/or its affiliates. All rights reserved.

GGSCI (OGG-CLIENT) 1> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     STOPPED                                           REPLICAT    ABENDED     REP_K1    00:00:00      01:07:47    REPLICAT    ABENDED     REP_K2    00:00:00      01:07:47    REPLICAT    ABENDED     REP_K3    00:00:00      01:07:46    REPLICAT    ABENDED     REP_K4    00:00:00      01:07:45    REPLICAT    ABENDED     REP_K5    00:00:00      01:07:45

GGSCI (OGG-CLIENT) 2> start mgrManager started.

GGSCI (OGG-CLIENT) 3> info mgr

Manager is running (IP port OGG-CLIENT.8909, Process ID 97094).

GGSCI (OGG-CLIENT) 4> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           REPLICAT    ABENDED     REP_K1    00:00:00      01:07:56    REPLICAT    ABENDED     REP_K2    00:00:00      01:07:56    REPLICAT    ABENDED     REP_K3    00:00:00      01:07:55    REPLICAT    ABENDED     REP_K4    00:00:00      01:07:54    REPLICAT    ABENDED     REP_K5    00:00:00      01:07:53

GGSCI (OGG-CLIENT) 5> start REP_K1

Sending START request to MANAGER ...REPLICAT REP_K1 starting

GGSCI (OGG-CLIENT) 6> info REP_K1

REPLICAT   REP_K1  Last Started 2019-08-20 23:41   Status RUNNINGCheckpoint Lag       00:00:00 (updated 01:08:03 ago)Process ID           97103Log Read Checkpoint  File /data/ggs12/dirdat/t1002322                     First Record  RBA 49652169

GGSCI (OGG-CLIENT) 7> !info REP_K1

REPLICAT   REP_K1  Last Started 2019-08-20 23:41   Status RUNNINGCheckpoint Lag       01:11:06 (updated 00:00:00 ago)Process ID           97103Log Read Checkpoint  File /data/ggs12/dirdat/t1002324                     2019-08-20 22:30:41.200193  RBA 8347811

[app@OGG-CLIENT ~]$ vi .bash_profile [app@OGG-CLIENT ~]$ cat .bash_profile # .bash_profile

# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi

# User specific environment and startup programs

#export OGG_HOME=/data/ogg/ggs12export OGG_HOME=/data/ggs12JAVA_HOME="/home/app/jdk1.8.0_101"CLASSPATH="$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"NODE_HOME="/home/app/node-v8.11.2-linux-x64"PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$NODE_HOME/binexport LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$LD_LIBRARY_PATHstty erase ^h

export PATH

[app@OGG-CLIENT ~]$ source .bash_profile[app@OGG-CLIENT ~]$ cd /data/ggs12/

ogg for kafka 平滑过渡方案落地   注意：原目标端ogg目录是啥，到目标端 ogg目录还得一致。

深层动力
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OGG-01161报错解决方法
09-11
运维工作总结，OGG-01161错误是因为源表结构发生了变化，导致同步出错。解决思路如下： 查看源库和目标库对应表的表列是否一致。然后将目标库的表改成和源库的一致
【ogg 】Error Messages（OGG-08001 to OGG-10545）
viviliving的专栏
11-13 6162
OGG-08001: Could not retrieve error detail after failed to allocate OCI error handle. OCI status: {0}. Cause: Failed to create OCI environment by OCIEnvNslCreate() call. Action: Review the OCI statu...
OGG到kafka替换目标端OGG
weixin_30779691的博客
08-27 749
1.--源端 --停源端所有进程 stop * stop mgr 2.--目标端进程 info REP_K4 showch---看RBA是否变化，查询checkpoint 表 send REP_K4 status--查看 有没有大事物 --确认上述信息OK，则停目标端所有进程 stop * stop mgr 3.----新目标端 备份...
使用ogg同步数据给kafka
易水寒
06-20 2万+
为更好的配合公司自然人项目的实施，我利用虚机搭了一个测试环境，把生产库中的部分表的数据通过ogg软件同步给kafka 1 测试环境说明 1）目标 源数据库hr用户下的一张表t1,当发生dml操作时，操作数据写到kafka集群里，并显示出来。 2）环境构成 192.168.60.88 tdb1 192.168.60.89 reps 192.168.60.91 kafka01 19
【大数据开发运维解决方案】OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
热门推荐
赵延东的一亩三分地
03-15 17万+
GoldenGate12C For Bigdata+Kafka：通过OGG将Oracle数据以Json格式同步到Kafka提供给flink流式计算 Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。这里介绍O...
OGG_KAFKA问题及解决方法
11-20
KAFKA和OracleGoldenGate安装过程中出现的问题及其解决方法
OGG增量抽取Oracle业务数据到kafka-部署手册.doc
04-26
OGG增量抽取Oracle业务数据到kafka-部署手册
oracle ogg kafka 实时同步技术方案 .doc
02-05
oracle ogg kafka 实时同步技术方案
oracle-ogg-kafka-环境搭建
11-23
ORACLE-OGG-KAFKA部署流程 安装介质url：链接：http://pan.baidu.com/s/1i5s0C2T 密码：******* 下载可见 安装文档url：链接：http://pan.baidu.com/s/1boYtWh5 密码：******* 下载可见 搭建好的虚拟机，直接导入...
代码：kafka数据接入到mysql中
最新发布
03-06
代码：kafka数据接入到mysql中
OGG错误信息大全
07-22
GoldenGate错误信息大全.pdf
使用OGG实现Oracle到kafka数据同步（详细版本）
Kayleigh520的博客
01-04 2311
使用OGG实现Oracle到kafka数据同步
【大数据开发运维解决方案】Ogg For Bigdata 同步Oracle数据到KAFKA（包括初始化历史数据）
赵延东的一亩三分地
09-06 15万+
OGG同步Oracle数据到KAFKA：OGG初始化进程初始化历史数据 在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章： OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算) 但是那都是做测试，没有说实际工作情况下如何将Oracle等库表的历史数据初始化到kafka的方案，网上也很少有提到这方面的内容，现在笔者给出两个方案，第一个比较笨的方案那就是写sh...
实时数仓实践（二）OGG同步到kafka
NuOne_plus的博客
09-06 2222
引用：https://blog.csdn.net/qq_31312071/article/details/116056488 ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 身份 hostname 组件和版本 IP OGG版本 源端 db-oracle oracle11g 192.168.10.101 row 1 col 2 目标端 linux121 kaf
使用ogg实现oracle到kafka的增量数据实时同步
dtstack_FAD的博客
04-10 3757
使用ogg实现oracle到kafka的增量数据实时同步 ​ 彬彬 ​
flink1.11从kafka写到kafka table_基于OGG 实现Oracle到Kafka增量数据实时同步
weixin_39633807的博客
10-21 913
背景在大数据时代，存在大量基于数据的业务。数据需要在不同的系统之间流动、整合。通常，核心业务系统的数据存在OLTP数据库系统中，其它业务系统需要获取OLTP系统中的数据。传统的数仓通过批量数据同步的方式，定期从OLTP系统中抽取数据。但是随着业务需求的升级，批量同步无论从实时性，还是对在线OLTP系统的抽取压力，都无法满足要求。需要实时从OLTP系统中获取数据变更，实时同步到下游业务系统。本文基于...
ogg安装实时同步kafka部署
qq_40582275的博客
11-19 1470
OGG Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 Manager(控制)进程 用于管理 Extract，Data Pump，Replicat等进程 在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动 Extract(抽取)进程 可以配置Extract 进程来做 ⒈ 初始数据装载
mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步
weixin_36080474的博客
03-23 369
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决。...
ogg 源端到目标端到kafka（数据库mysql）
cxc110928的博客
04-05 3045
OGG-> 源端—》目标端》kafka
ogg同步Kafka到oracle,ORACLE OGG同步到KAFKA
06-01
3. 创建OGG的传输进程，设置目标为Kafka，指定需要同步到的topic和partition等信息。 4. 配置OGG的参数文件，指定抽取进程和传输进程的相关配置信息。 5. 启动OGG的抽取进程和传输进程，开始同步数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值