Oracle GoldenGate For Big Data - Kafka Handler

2019独角兽企业重金招聘Python工程师标准>>>

作者本人最近有需求处理Orace到Kafka的业务，所以就学习一下这一块内容。随手记录，后续会再整理。

这是第一篇，关于ogg for big data的kafka处理,版本12.3.2.1

1. ogg到大数据有好多种handler。kafka的有两个，一个是kafka handler，另一个是kafka connect handler。后一种是conflut的一个功能组件，有兴趣的可以先去学习一下conflut，我这边肯定用不着，所以只介绍kafka handler.

2. 官方地址：https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-2561CA12-9BAC-454B-A2E3-2D36C5C60EE5

请阅读官方文档。难理解的地方可以在下面找答案。

3. 主要配置3个文件(在官方下载包中的/AdapterExamples/big-data/kafka路径下有这三个文件)：rkafka.prm, kafka.props, custome-kafka-producer.properties.下面只解释几个难懂的点：

(1)rkafka.prm这个文件里没有难懂的点.

(2)kafka.props中topicMappingTemplate、keyMappingTemplate指的是写入的topic和key，可以写死，也可以配置成动态的。其中messgae key是用来kafka用来计算讲数据存储在哪个分区的。另外，关于Catalog和Schema,各种数据库系统对Catalog和Schema的支持和实现方式千差万别，比较简单而常用的实现方式是使用数据库名作为Catalog名，使用用户名作为Schema名，具体可参见下表：

供应商	Catalog支持	Schema支持
Oracle	不支持	Oracle User ID
MySQL	不支持	数据库名
MS SQL Server	数据库名	对象属主名，2005版开始有变
DB2	指定数据库对象时，Catalog部分省略	Catalog属主名
Sybase	数据库名	数据库属主名
Informix	不支持	不需要
PointBase	不支持	数据库名

 

(3)custome-kafka-producer.properties没有难点。

转载于:https://my.oschina.net/u/3651261/blog/2877401