flinkcdc cdc数据能不能根据时刻划分 实现全量数据和binlog的无缝整合

起因

        面试"统统付",二面ceo(大概这个名)定级,flink专业问题一个没问,上来揪着我其他专业不放,一直问大学课程,总之核心思想就是压低工资,18压倒15,88嘞您.3成工资扣押到季度末,作为考核,考核评级之后可能会1块钱不发. 也就是 末尾淘汰的翻版. 而且还扇脸劳动法, 正常企业开除需要赔钱.他到好,想开除直接扣你工资,还合法,你自己就走了.

        薪资无所谓,双向选择,没有谁对谁错. 下面重点说一下面试中他给我说的一个技术点,当时感觉200%不合理,但是临时没想通.

他的 exactly once 同步方案

        我flinkcdc debezium mysql全局锁,表锁,可重复读事务,netflix的无锁同步论文.... bababa,他一脸不屑,至于这么麻烦吗,搞个时间点,该时刻之前全量,之后读取对应时刻之后的binlog.

        首先,自己对binlog有那些列,每个列是什么背诵不出来,只知道有个position的一个binlog位置编号,有没有记录时候的时间或者运行sql时候的时间不清楚.

        下面一步步打脸,不,是客观分析他的这个说法.

首先先看mysqlbinlog日志的数据内容:

binlog文件:

 

binlog内容:

 可以看到 pos 就是position的缩写,一个递增的编号,可以理解为当前binlog文件的行数. 同时可以发现并没有记录每个语句在数据库执行的时间,那么对方可能说,我在某个时刻,重新生成一个新的binlog文件记录,这样这个binlog文件和之后就是该时刻之后(这个的确可以实现). 但是最重要的是,你实现了也不行,下面听我分析.

首先你字段中必须有记录写入时刻的列才能支持他的逻辑,这个像维度表,关系表等基本上没有.

其次如果你的后续binlog中有语句累死 update ... num+1 as num ... 那么他现在已经执行了一次了,你就算拉去某个时刻之前,也是+1之后,然后你重新执行该时刻之后binlog,你发现+1又执行一次.

总之这个想法简直就是不过脑子,张口就来,不想说了.费劲.