paimon实战 -- Changelog Producer到底有什么用？

目的

Chaneglog producer 的主要目的是为了在 Paimon 表上产生流读的 changelog, 所以如果只是批读的表是可以不用设置 Chaneglog producer 的。

一般对于数据库如 MySQL 来说, 当执行的语句涉及数据的修改例如插入、更新、删除时，MySQL 会将这些数据变动记录在 binlog 中。相当于额外记录一份操作日志, 类似于 Paimon 中的 input changelog producer 的模式

存储形式

Chaneglog 一般是以单独的 changelog 文件的形式存储的，也是在 snapshot commit 期间提交的。在每次 Snapshot 的元数据中就会记录 changelogManifestList。因此在 Snapshot 过期时，也会一起过期。

Changelog producer 有四种模式，分别是 None，input，lookup，full comapction。一般来说，是要以尽可能低的代价生成 Changelog 这四种的生成代价是由低到高的。

4种模式

None

默认就是 none, 这种模式下在 Paimon