作者本人最近有需求处理Orace到Kafka的业务,所以就学习一下这一块内容。随手记录,后续会再整理。
这是第一篇,关于ogg for big data的kafka处理,版本12.3.2.1
1. ogg到大数据有好多种handler。kafka的有两个,一个是kafka handler,另一个是kafka connect handler。后一种是conflut的一个功能组件,有兴趣的可以先去学习一下conflut,我这边肯定用不着,所以只介绍kafka handler.
2. 官方地址:https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-2561CA12-9BAC-454B-A2E3-2D36C5C60EE5
请阅读官方文档。难理解的地方可以在下面找答案。
3. 主要配置3个文件(在官方下载包中的/AdapterExamples/big-data/kafka路径下有这三个文件):rkafka.prm, kafka.props, custome-kafka-producer.properties.下面只解释几个难懂的点:
(1)rkafka.prm这个文件里没有难懂的点.
(2)kafka.props中topicMappingTemplate、keyMappingTemplate指的是写入的topic和key,可以写死,也可以配置成动态的。其中messgae key是用来kafka用来计算讲数据存储在哪个分区的。另外,关于Catalog和Schema,各种数据库系统对Catalog和Schema的支持和实现方式千差万别,比较简单而常用的实现方式是使用数据库名作为Catalog名,使用用户名作为Schema名,具体可参见下表:
供应商 | Catalog支持 | Schema支持 |
Oracle | 不支持 | Oracle User ID |
MySQL | 不支持 | 数据库名 |
MS SQL Server | 数据库名 | 对象属主名,2005版开始有变 |
DB2 | 指定数据库对象时,Catalog部分省略 | Catalog属主名 |
Sybase | 数据库名 | 数据库属主名 |
Informix | 不支持 | 不需要 |
PointBase | 不支持 | 数据库名 |
(3)custome-kafka-producer.properties没有难点。