SunTecTec

新增优点：Pattern Replacement in routing rulesflinkcdc 3.2.0版本相较于3.1.0版本，避免了多表多sink多次写 route 路由的麻烦，类似于统一前后缀的形式多表多sink官网：Route | Apache Flink CDC If you’d like to route source tables and rename them to sink tables with specific patterns, could be used to resem

【代码】ResultSet resultSet = preparedStatement.executeQuery()；

原因：自定义 debeziumProperties 中使用的自定义 utils 类 MySqlDateTimeConverter 中，convert 时间方法 默认 返回 return 为 null。问题：FlinkCDC StartupOptions.initial op:r 出现 MysqlSource 自定义时间格式化未顺利执行，mysql 时间返回null的问题。解决：默认 return 更改为。

问题：对于 Flink Doris DataStream，Flink 想要在 流式读取 Doirs / 实时读 Doris，目前读取完全表后 Flink 程序会结束运行。原因：Doris 目前无法像 Mysql 那样提供 binlog 日志，无法实时监控读 Doris。目前 Doris Source 是有界流，不支持 CDC 方式读取。

flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点。# -s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。flink modify <job_id> -p/--parallelism p : 修改job的并行度。flink list -r/--runing :列出正在运行的job。# -d,--detached : 在后台运行。

参考：Flink运行方式及对比-腾讯云开发者社区-腾讯云

从概念上讲，Flink 的savepoints与的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期由 Flink 管理， 即 Flink 创建，管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发，且被用于作业恢复，所以 Checkpoint 的实现有两个设计目标：i）轻量级创建和 ii）尽可能快地恢复。

scala版本根据下载flink.tgz安装包时指定的版本号。在poml文件中，导入的flink-table依赖把。

windows 系统环境变量 MAVEN_HOME 也可以改一下。

为了避免出现连接超时中断错误。

自定义Jackson2序列化反序列化，参考：Jackson序列化时实现任意类型自定义转换_jackson 自定义转换-CSDN博客

问题2：ClassNotFoundException: com.fasterxml.jackson.annotation.JsonMerge。缺少 jar 包：jackson-annotations。问题1：java: 错误: 不支持发行版本 5。修改idea java环境。

可以使用这两个Pojo示例：

flinkcdc 需要引入：source端：sink端：

需要注意的是，依赖于幂等性sink来达到exactly-once语义的应用程序，必须保证在从检查点恢复以后，它将会覆盖之前已经写入的结果。同时，从Flink程序sink到的key-value存储中读取数据的应用，在Flink从检查点恢复的过程中，可能会看到不想看到的结果。例如，重复的向hashmap中插入同样的key-value对就是幂等操作，因为头一次插入操作之后所有的插入操作都不会改变这个hashmap，因为hashmap已经包含这个key-value对了。

Trino 是 Presto 同项目的不同版本，是原Presto核心开发和维护人员分离出来后开发和维护的分支，Trino基于Presto，目前 Trino 和 Presto 都仍在继续开发和维护。

解决：部分分布式节点缺少 paimon-flink.jar，导致 taskexecutor 无法执行sink。

数据集：下载 test_db:Linux 导入 mysql：

MySQL :: Download MySQL Community Server (Archived Versions)