streamsets 链接mysql_StreamSets：MySQL Binary Log

MySQL Binary Log Origin通过MySQL服务器提供的binary logs处理CDC。

MySQL Binary Log Origin充当MySQL复制的从服务器。MySQL复制允许您通过将数据从主服务器复制到从服务器来维护MySQL数据的多个副本。origin使用复制过程从MySQL主数据库捕获更改，然后将更改的数据传递到数据收集器管道。

Origin可以从启用或禁用全局事务标识符(GTID)的MySQL服务器处理binary logs。GTID是分配给MySQL服务器数据库中发生的每个事务的惟一事务ID。

MySQL Binary Log只处理变化数据。它为INSERT、UPDATE、和DELETE操作创建记录。它为binary logs中记录的每个更改生成一条记录。

生成的记录包括CDC信息字段的映射。它还在记录头属性中包含CRUD操作类型，这样生成的记录可以由启用CRUD的destinations轻松处理。

如果需要的话，可以在使用MySQL Binary Log Origin启动pipeline之前，在单独的pipeline中使用JDBC Multitable Consumer或JDBC Query Consumer从MySQL数据库读取现有数据。必要时，还应该配置MySQL Binary Log pipeline来修改生成的记录。

在配置origin之前，必须完成几个先决条件，其中包括(1)为MySQL服务器配置row-based logging；(2)安装JDBC驱动程序。

在配置MySQL Binary Log时，需要配置用于读取日志文件的数据库服务器。可以配置Origin从头读取二进制日志文件，也可以指定偏移量来确定Origin从何处开始读取数据。

一.先决条件

在读取MySQL二进制日志以生成更改数据捕获记录之前，必须完成以下先决条件:

(1)配置MySQL服务器使用row-based logging。

(2)安装MySQL JDBC Driver。

1.配置MySQL服务器使用row-based logging。

Mysql的binlog有三种格式，分别是Statement、Row以及Mixed。下面介绍Row格式：

Row模式下的binlog不记录sql语句上下文相关信息，仅保存哪条记录被修改。其缺点是可能会产生大量日志内容，比如一条update语句，修改多条记录，则binlog中每一条修改都会有记录，这样造成binlog日志量会很大，特别是当执行alter table之类的语句的时候，由于表结构修改，每条记录都发生改变，那么该表每一条记录都会记录到日志中。

2.安装JDBC驱动

MySQL JDBC驱动必须位于外部目录的MySQL Binary Log子目录中。例如：/opt/sdc-extras/streamsets-datacollector-mysql-binlog-lib/lib/。

二.Initial Offset(初始偏移量)

可以配置Origin从文件的开头或文件中的初始偏移量开始读取二进制日志文件。

初始偏移量是二进制日志文件中希望开始处理的点。启动pipeline时，MySQL Binary Logs Origin从初始偏移量开始处理，并一直持续到停止管道。

用于配置初始偏移量的格式取决于MySQL服务器是否启用全局事务标识符(GTID)：

GTID enabled：

MySQL Binary Logs Origin要求初始偏移量包含GTID，格式如下::例如：8720bebf-bb38-11e6-97b1-0242ac110004:7066

GTID disabled：

MySQL Binary Logs Origin要求初始偏移量包含二进制日志文件名和文件中的位置，格式如下：:例如：

mysql-bin.000004:587

三.Generated Records(产生记录)

MySQL Binary Logs Origin为二进制日志中记录的每个事务生成一条记录。记录包括字段和记录头属性，其中包含包含操作类型、变化数据捕获信息和变化数据。其详细格式如下：

(1)CRUD operation type

CRUD操作存储在TYPE字段中，也包含在记录头属性的sdc.operation.type中。

(2)Change data capture information

有以下字段：BinLogFilename - when GTID is disabled

BinLogPosition- when GTID is disabled

SeqNo - when GTID is enabled

GTID - when GTID is enabled

Table

ServerId

Database

Timestamp

Offset

(3)new data

插入或更新的新数据出现在data map字段中。

(4)changed data

被更新的老数据或删除的记录出现在olddata map字段中。

如下图所示：

image.png

作者：阿猫阿狗Hakuna

链接：https://www.jianshu.com/p/1561ef591884