flink二阶段提交mysql_Flink 之 MySQL二阶提交

本文开头附：Flink 学习路线系列 ^ _ ^

1.2PC简介

两阶段提交(two-phase commit, 2PC)是最基础的分布式一致性协议，应用广泛。在分布式系统中，为了让每个节点都能够感知到其他节点的事务执行状况，需要引入一个中心节点来统一处理所有节点的执行逻辑，这个中心节点叫做协调者(coordinator)，被中心节点调度的其他业务节点叫做参与者(participant)。

2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别为提交请求(投票)和提交(执行)。协调者根据参与者的响应来决定是否需要真正地执行事务，具体流程如下。

ZooKeeper 中的数据一致性，也是用到了2PC协议。如需了解，请参考:ZooKeeper数据一致性协议—2PC协议

2.Flink 中的 2PC 应用

在 Flink 中，2PC的最常见应用场景其实是关系型数据库，比如MySQL InnoDB存储引擎的XA事务系统。

Flink作为流式处理引擎，自然也提供了对 Exactly-Once 语义的保证。端到端的 Exactly-Once 语义，是输入、处理逻辑、输出三部分协同作用的结果。Flink内部依托检查点机制(CheckPoint)和轻量级分布式快照算法(SnapShot)来保证 Exactly-Once。而要实现精确一次的输出逻辑，则需要施加以下两种限制之一：幂等性写入(idempotent write)、事务性写入(transactional write)。

在文章：自定义Redis Sink 中，我们有介绍过 Redis 的容错机制是 At Least Once，我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 Exactly-Once 。

在 Spark Streaming 中，要实现事务性写入完全靠用户自己，框架本身并没有提供任何实现。但是在 Flink 中提供了基于 2PC 的 SinkFunction ，名为 TwoPhaseCommitSinkFunction，帮助我们做了一些基础的工作。

3.关系型数据库如何实现二阶提交

在日常，我们使用到最多的还是关系型数据库(MySQL)，但是针对关系型数据库，我们并不能通过幂等机制来实现 Exactly-Once。我们从 Flink官方文档 中可以了解到，将数据 Sink(下沉)到 Kafka 可以保证 Exactly-Once。

Flink 已经为我们提供了实现 Exactly-Once 的 FlinkKafkaProducer 类。如下图所示：它实现了 TwoPhaseCommitSinkFunction类，并重写了其中的方法，通过 2PC (Two Phase Comit) 二阶提交的方式，实现了 Exactly-Once。

使用关系型数据库 MySQL，开启 CheckPoint 机制的前提下，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。这种情况，便使用到了 TwoPhaseCommitSinkFunction类，以此来实现 MySQL 关系型数据库的二阶提交。

4.MySQL 二阶提交实现

4.1 DBConnectUtil.java

package com.ddky.twoPhase;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

/**

<