goldengate_mysql_kafka同步

最新推荐文章于 2022-10-24 17:50:56 发布
最新推荐文章于 2022-10-24 17:50:56 发布
阅读量3.2k 收藏 3
点赞数
分类专栏： spark 文章标签： mysql big-data kafka spark oracle goldengate
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuwenxiang91322/article/details/78807905
版权

goldengate 实现mysql到kafka同步

Oracle GoldenGate 提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付

goldengate架构

图片名称

图片名称

goldengate相关概念
  • Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程
  • Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据
  • Data Pump进程运行在数据库源端，其作用是将源端产生的本地trail文件，把trail以数据块的形式通过TCP/IP 协议发送到目标端。
  • Collector进程与Data Pump进程对应 的叫Server Collector进程，这个进程不需要引起我的关注，因为在实际操作过程中，无需我们对其进行任何配置，所以对我们来说它是透明的。它运行在目标端，其 任务就是把Extract/Pump投递过来的数据重新组装成远程ttrail文件。

  • Replicat进程，通常我们也把它叫做应用进程。运行在目标端，是数据传递的最后一站，负责读取目标端trail文件中的内容。

  • 关于OGG的Trail文件

    • 为了更有效、更安全的把数据库事务信息从源端投递到目标端。GoldenGate引进trail文件的概念。前面提到extract抽取完数据以 后 Goldengate会将抽取的事务信息转化为一种GoldenGate专有格式的文件。然后pump负责把源端的trail文件投递到目标端，所以源、 目标两端都会存在这种文件。
    • trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用checkpoint机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint记录的位置来重传 。

系统环境配置（源端和目标端）

  • JDK 版本

    jdk1.8

  • 添加环境变量 

    export GGS_HOME=/opt/ggs
export PATH=$PATH:$GGS_HOME

    本篇安装文档goldengate安装目录为：/opt/ggs

  • 环境

    yp-data02 (源端，mysql所在机器)

yp-data01 （目标端）

  • goldengate版本

    Oracle GoldenGate 12.3.0.1.1 for MySQL on Linux x86-64   (源端版本)

Oracle GoldenGate for Big Data 12.3.1.1.1 on Linux x86-64 （目标端版本）

    • 下载地址

      http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

  • 配置mysql binlog,配置后需重启mysql实例 (源端)

    
# vim /etc/my.cnf


log-bin=mysql-bin
binlog_format=row
server-id=1

  • mysql 创建测试表(源端数据库)

    CREATE TABLE `test`.`wms_test` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`first_name` varchar(60) DEFAULT NULL,
`last_name` varchar(60) DEFAULT NULL,
`sex` varchar(45) DEFAULT NULL,
`address` varchar(200) DEFAULT NULL,
`flag` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

  • kafka环境（目标端）

源端配置（mysql）

  • 配置命令 

    $GGS_HOME/ggsci

  • mysql用户登录

    dblogin sourcedb test@localhost:3306,userid root,password 123456

  • 配置manager

    • CREATE SUBDIRS 创建目录

    • 配置命令

      
# edit param mgr

port 17809
dynamicportlist 17800-18000
purgeoldextracts ./dirdat/*,usecheckpoints, minkeepdays 7

    • 启动mgr

      
#  start mgr

查看启动进程

#  info all

  • 配置extract

     # edit param ext_wpkg  

extract ext_wpkg
setenv (MYSQL_HOME="/var/lib/mysql")
tranlogoptions altlogdest /var/lib/mysql/mysql-bin.index
dboptions host localhost,connectionport 3306
sourcedb test, userid root,password 123456
exttrail /opt/ggs/dirdat/W3
dynamicresolution
gettruncates
GETUPDATEBEFORES
NOCOMPRESSDELETES
NOCOMPRESSUPDATES
table test.wms_test;
    
#      ADD EXTRACT ext_wpkg, tranlog,begin now


#      ADD EXTTRAIL /opt/ggs/dirdat/W3, EXTRACT ext_wpkg

  • 配置pump

    
# edit param pum_wpkg  


extract pum_wpkg
rmthost yp-data01,mgrport 17809
rmttrail /opt/ggs/dirdat/W3
passthru
gettruncates
table test.wms_test;
     # ADD EXTRACT pum_wpkg,EXTTRAILSOURCE /opt/ggs/dirdat/W3;
 # ADD RMTTRAIL /opt/ggs/dirdat/W3, EXTRACT pum_wpkg

备注：/opt/ggs/dirdat目标端ogg路径数据存放路径

  • 配置defgen

    
# edit param defgen_wpkg

defsfile /opt/ggs/dirdef/defgen_wpkg.prm
sourcedb test@localhost:3306,userid root,password 123456
table test.wms_entry_warehouse_wpkg;

    备注：用于生成表字段映射

  • 生成defgen表字段映射
    进入ogg根目录

    ./defgen paramfile /opt/ggs/dirprm/defgen_wpkg.prm

    备注：拷贝dirdef/defgen_wpkg.prm文件到目标端dirdef/目录下

  • 启动extract和pump

    
#      start ext_wpkg


#      start pum_wpkg


#      info all

  • 查看EXTRACT进程统计信息

    
# stats EXT_WPKG



Sending STATS request to EXTRACT EXT_WPKG ...

Start of Statistics at 2017-12-12 14:55:43.

Output to /opt/ggs/dirdat/W3:

Extracting from test.wms_test to test.wms_test:

*** Total statistics since 2017-12-12 11:08:40 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total befores                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00

*** Daily statistics since 2017-12-12 11:08:40 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total befores                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00

  • 查看PUMP进程统计信息

    Sending STATS request to EXTRACT PMP ...

Start of Statistics at 2017-12-12 15:00:05.

Output to /opt/ggs/dirdat/W3:

Extracting from test.wms_test to test.wms_test:

*** Total statistics since 2017-12-12 11:08:43 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total befores                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00

*** Daily statistics since 2017-12-12 11:08:43 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total befores                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00
goldengate配置

  • 登录ggs

    $GGS_HOME/ggsci
  • 创建目录

目标端配置

  • $GGS_HOME/ggsci

  • CREATE SUBDIRS 创建目录

  • 配置mgr

    
# edit param mgr 


PORT 17809
DYNAMICPORTLIST 17810-17909
AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
PURGEOLDEXTRACTS /opt/ggs/dirdat/*,usecheckpoints, minkeepdays 3

  • 配置REPLICAT

    
# edit param REP_WPKG


REPLICAT rep_wpkg
TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000
MAP test.*,TARGET test.*;
    add replicat rep_wpkg, exttrail /opt/ggs/dirdat/W3,begin now

  • 配置kafka

    • dirprm/kafka.props

      gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type=kafka
gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties

#The following resolves the topic name using the short table name

gg.handler.kafkahandler.topicMappingTemplate=${tableName}

#The following selects the message key using the concatenated primary keys

gg.handler.kafkahandler.keyMappingTemplate=${primaryKeys}
gg.handler.kafkahandler.format=json_row
gg.handler.kafkahandler.SchemaTopicName=mySchemaTopic
gg.handler.kafkahandler.BlockingSend =false
gg.handler.kafkahandler.includeTokens=false
gg.handler.kafkahandler.mode=op


goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE

gg.log=log4j
gg.log.level=INFO

gg.report.time=30sec


#Sample gg.classpath for Apache Kafka

gg.classpath=dirprm/:/opt/kafka_2.10-0.10.0.1/libs/*

#Sample gg.classpath for HDP


#gg.classpath=/etc/kafka/conf:/usr/hdp/current/kafka-broker/libs/*


javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=/opt/ggs/ggjava/ggjava.jar
      • gg.handler.kafkahandler.topicMappingTemplate kafka topic名称的映射，指定topic名称，也可以通过占位符的方式，例如${tableName},每一张表对应一个topic
      • gg.handler.kafkahandler.SchemaTopicName 表的Schema信息对应的topic名称

    • 配置kafka连接信息custom_kafka_producer.properties

      bootstrap.servers=localhost:9092
acks=1
reconnect.backoff.ms=1000

value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

# 100KB per partition

batch.size=16384
linger.ms=0

  • 启动mgr/replicat

    start mgr 
start replicat REP_WPKG

  • 查看replicat统计信息

    “`
    # stats REP_WPKG

    Sending STATS request to REPLICAT REP_WPKG ...

Start of Statistics at 2017-12-12 15:02:14.

Replicating from test.wms_test to test.wms_test:

*** Total statistics since 2017-12-12 11:10:41 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00

*** Daily statistics since 2017-12-12 11:10:41 ***
    Total inserts                                  1.00
    Total updates                                  1.00
    Total deletes                                  1.00
    Total discards                                 0.00
    Total operations                               3.00

    “`

  • 启动kafka查看消息

    kafka上会创建两个topic

    • mySchemaTopic 接收Schema信息的topic

      • 从kafka接收Schema信息
       # kafka-console-consumer.sh --zookeeper localhost:2181 --topic  mySchemaTopic  --from-beginning

 {
    "$schema":"http://json-schema.org/draft-04/schema#",
    "title":"TEST.WMS_TEST",
    "description":"JSON schema for table TEST.WMS_TEST",
    "definitions":{
        "tokens":{
            "type":"object",
            "description":"Token keys and values are free form key value pairs.",
            "properties":{

            },
            "additionalProperties":true
        }
    },
    "type":"object",
    "properties":{
        "table":{
            "description":"The fully qualified table name",
            "type":"string"
        },
        "op_type":{
            "description":"The operation type",
            "type":"string"
        },
        "op_ts":{
            "description":"The operation timestamp",
            "type":"string"
        },
        "current_ts":{
            "description":"The current processing timestamp",
            "type":"string"
        },
        "pos":{
            "description":"The position of the operation in the data source",
            "type":"string"
        },
        "primary_keys":{
            "description":"Array of the primary key column names.",
            "type":"array",
            "items":{
                "type":"string"
            },
            "minItems":0,
            "uniqueItems":true
        },
        "tokens":{
            "$ref":"#/definitions/tokens"
        },
        "id":{
            "type":[
                "integer",
                "null"
            ]
        },
        "first_name":{
            "type":[
                "string",
                "null"
            ]
        },
        "last_name":{
            "type":[
                "string",
                "null"
            ]
        },
        "sex":{
            "type":[
                "string",
                "null"
            ]
        },
        "address":{
            "type":[
                "string",
                "null"
            ]
        },
        "flag":{
            "type":[
                "integer",
                "null"
            ]
        }
    },
    "required":[
        "table",
        "op_type",
        "op_ts",
        "current_ts",
        "pos"
    ],
    "additionalProperties":false
}

    • wms_test 每个table对应一个topic,也可以指定多个table对应一个topic

      • 从topic读取事务日志

        kafka-console-consumer.sh --zookeeper localhost:2181 --topic wms_test  --from-beginning
        • 新增一条记录
        INSERT INTO `test`.`wms_test` (`first_name`, `last_name`, `sex`, `address`, `flag`) VALUES ('a', 'b', 'c', 'd', '1');



#kafka接收到消息格式


{
    "table":"TEST.WMS_TEST",
    "op_type":"I",
    "op_ts":"2017-12-12 09:47:44.349517",
    "current_ts":"2017-12-12T17:47:50.415000",
    "pos":"00000000000000003880",
    "id":16,
    "first_name":"a",
    "last_name":"b",
    "sex":"c",
    "address":"d",
    "flag":1
}
        • 修改一条记录
        UPDATE `test`.`wms_test` SET `flag`='2' WHERE `id`='16';


#kafka接收到消息格式

{
    "table":"TEST.WMS_TEST",
    "op_type":"U",
    "op_ts":"2017-12-12 09:49:27.349051",
    "current_ts":"2017-12-12T17:49:32.457000",
    "pos":"00000000000000004268",
    "id":16,
    "first_name":"a",
    "last_name":"b",
    "sex":"c",
    "address":"d",
    "flag":2
}
        • 删除一条记录
        
# DELETE FROM `test`.`wms_test` WHERE `id`='16';



#kafka接收到消息格式

{
    "table":"TEST.WMS_TEST",
    "op_type":"D",
    "op_ts":"2017-12-12 09:51:00.348680",
    "current_ts":"2017-12-12T17:51:06.491000",
    "pos":"00000000000000004376",
    "id":16,
    "first_name":"a",
    "last_name":"b",
    "sex":"c",
    "address":"d",
    "flag":2
}

问题列表

  • Error loading Java VM runtime library: (2 No such file or directory)

    • 解决方式

      在环境变量中添加如下LD_LIBRARY_PATH

      export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so

  • db2安装报错 /ggsci: error while loading shared libraries: libdb2.so.1: cannot open shared object file: No such file or directory

    • 解决方式

    添加db2的lib依赖

    export LD_LIBRARY_PATH=$DB2_HOME/lib64/:$LD_LIBRARY_PATH

kafka常用命令

  • 启动服务

    zookeeper-server-start.sh config/zookeeper.properties &

  • 启动Kafka

    bin/kafka-server-start.sh config/server.properties &

  • 创建队列

    kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

  • 运行producer

    in/kafka-console-producer.sh --broker-list localhost:9092 --topic test

  • 运行consumer

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

  • 查看创建的topic

    kafka-topics.sh --list --zookeeper localhost:2181

参考资料

笃志近思
关注
专栏目录
MySQL与实时数据分析：Apache Kafka集成的奇妙旅程
java专栏
08-07 501
MySQL就像一个安静的图书馆，保存着知识的宝藏。而Apache Kafka则像一个充满活力的舞者，在数据的舞台上跳跃，传递着每一条信息。首先，确保你安装了MySQL数据库和Apache Kafka，以及ZooKeeper。
mysql to kafka_Oracle GoldenGate mysql To Kafka上车记录
weixin_35924765的博客
01-18 231
一.前言首先要学习一下ogg的所有进程，看着这张图来学习Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个manager进程Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。Extract的作用可以按照阶段来...
ogg oracle 测试kafka_OGG同步ORACLE数据到KAFKA
weixin_39860166的博客
12-19 325
环境：源端：oracle12.2 ogg for oracle 12.3目标端：KAFKA ogg for bigdata 12.3将oracle中的数据通过OGG同步到KAFKA源端配置：1、为要同步的表添加附加日志dblogin USERID ogg@orclpdb, PASSWORD oggadd trandata scott.tab1add trandata scott.ta...
canal: mysql数据实时同步kafka
eyeofeagle的博客
02-14 940
文章目录1，环境准备：zk, kafka, mysql-mastermysql启用binlog2, 启动zk, kafka2，安装配置canal3，测试使用 官网介绍：https://github.com/alibaba/canal/wiki/Introduction 1，环境准备：zk, kafka, mysql-master 角色 IP mysql-master 192.168.56.1 (windows） zk, kafka, canal1,canal2 192.168.56.7
Maxwell 配置实时将MySQL数据同步到Kafka
最新发布
10-24 2039
如果初始时数据表中就有数据，但是后面才配置的maxwell，那么初始时的数据是没有监听到binlog的，也就没办法被maxwell同步到Sink。Maxwell是一个通过解析MySQL的binlog日志，伪装成Mysql的slave实时将master的数据变化同步给外部系统的一个工具。在存放maxwell元数据的mysql服务器(可以与被同步数据的Mysql服务器不是同一个)上中创建maxwell数据库，用于存放maxwell的元数据。JDK的版本太低，升级JDK的版本就可以解决。
ogg mysql to kafka_OGG 从 MYSQL5.7同步到BigData(Kafka)
weixin_34331744的博客
02-07 377
1 说明1.1 软件版本Mysql:5.7.26 下载地址Mysql Ogg:12.2.0.2 下载地址BigData Ogg:12.3.2.1.1 下载地址2 安装2.1 Mysql(1) 解压并重命名tar -zxvf mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar.gzmv mysql-5.7.26-linux-glibc2.12-x86_64 /usr/...
Oracle 11g GoldenGate19.1安装同步到kafka，未完全验证成功，11g需要降ogg版本
kkHMou的博客
04-21 496
官方下载链接： https://www.oracle.com/middleware/technologies/goldengate-downloads.html 一、软件环境 CentOS7.5
0471-Oracle Goldengate实时复制Oracle数据到CDH Kafka
Hadoop_SC的博客
01-27 754
作者：Thomas Gu 1 Oracle Goldengate概述 Oracle Goldengate（以下简称OGG）是业界广泛使用的准实时数据复制软件，主要基于数据库日志进行变更数据的抽取，也就是我们常说的CDC（change data capture）的能力，Goldengate的优势主要体现支持各种异构环境下的数据复制，对生产库的影响最低（基于日志读取，非Sqoop这样直接查询数据的方式...
Oracle GoldenGate12.2安装同步oracle11g至kafka2.0
kkHMou的博客
05-10 701
oracle ogg官方最新版本为19.1，旧版本需要到oracle云下载： https://edelivery.oracle.com/osdc/faces/SoftwareDelivery
SpringBoot定时任务实现Oracle和mysql数据同步
12-21
对于Oracle到MySQL的数据同步，还可以考虑使用第三方工具，如`GoldenGate`、`DataX`等，它们能提供更高级别的同步功能，包括数据过滤、冲突检测等。 综上所述，Spring Boot的定时任务结合Java的数据库操作能力，...
OracleGoldenGate配置手册
08-10
Oracle GoldenGate 是一款高效的数据复制解决方案，用于实时或近实时的数据传输和同步。它支持多种数据库平台，包括 DB2、Oracle、MySQL 等，并能够将数据流式传输到目标系统，如 Kafka 或其他数据库。以下是对配置 ...
OGG_KAFKA问题及解决方法
11-20
KAFKA和OracleGoldenGate安装过程中出现的问题及其解决方法
mysql ogg kafka_Oracle goldengate 实现mysql到kafka同步配置
weixin_39558521的博客
01-19 424
一.oracle goldengate技术架构Oracle GoldenGate 实现原理是通过抽取源端的redo log 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现 同源端数据同步。图1-1 是Oracle GoldenGate 的技术架构。 其中target接受的容器包含：kafka,hbase,hdfs,关系数据库等. 二. 准备...
mysql ogg kafka_ogg实时同步到Kafka
weixin_36260016的博客
02-07 493
目标库(Linux)安装OGG for bigdata解压OGG_BigDataunzip OGG_BigData_Linux_x64_12.3.2.1.1.zip再次解压tar -vxf OGG_BigData_Linux_x64_12.3.2.1.1.tar安装java 1.8The Oracle GoldenGate for Big Data are certified for Java 1...
ogg 源端到目标端到kafka（数据库mysql）
cxc110928的博客
04-05 3117
OGG-> 源端—》目标端》kafka
ogg mysql kafka_Ogg 监控 MySQL - Binlog 日志并对接 Kafka 实战（一）
weixin_39742958的博客
01-19 266
对于 Flink 数据流的处理，一般都是去直接监控 xxx.log 日志的数据，至于如何实现关系型数据库数据的同步的话网上基本没啥多少可用性的文章，基于项目的需求，经过一段时间的研究终于还是弄出来了，写这篇文章主要是以中介的方式记录下来，也希望能帮助到在做关系型数据库的实时计算处理流的初学者。一、设计流程图image.png二、MySQL 的 Binlog 日志的设置找到 MySQL 的配置文件并...
mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步
weixin_36080474的博客
03-23 412
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决。...
ogg oracle 测试kafka_OGG 从Oracle备库同步数据至kafka
weixin_39762856的博客
12-19 302
json modegg.handlerlist = kafkahandlergg.handler.kafkahandler.type=kafkagg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties#The following resolves the topic name using the...
Ogg 支持一张表投递多个topic
weixin_43564627的博客
07-22 633
Ogg 支持一张表投递多个topic 验证如下 cd /service/ogg 进入 ogg采集目录 然后使用 ./ggsci 命令进入 ogg 命令行 采集进程 配置 采集进程 edit param extp extract extp setenv (nls_lang="american_america.ZHS16GBK") userid oggadmin@pacs, password root1234 reportcount every 30 minutes, rate discardfile /s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值