解决 MySQL binlog 同步时出现的乱序

要实现将MySQL的binlog日志发送到RocketMQ，可以使用Canal作为中间件来监听MySQL的binlog，并将监听到的数据发送到RocketMQ。

1. 安装Canal：首先，需要在服务器上安装Canal。可以从Canal的官方网站下载并安装Canal Server。

2. 配置Canal：在Canal Server的配置文件（conf/canal.properties）中，配置MySQL的连接信息，包括MySQL的地址、端口、用户名和密码。

3. 配置RocketMQ：在Canal Server的配置文件（conf/canal.properties）中，配置RocketMQ的连接信息，包括RocketMQ的地址、端口、Topic等。

4. 创建Canal客户端：使用Java编写一个Canal客户端，用于连接到Canal Server，并监听binlog的变更事件。

5. 实现监听逻辑：在Canal客户端中，实现监听binlog的逻辑。当有binlog变更事件发生时，Canal客户端会收到通知，并将变更的数据发送到RocketMQ。

6. 接收RocketMQ消息：编写一个RocketMQ的消费者，用于接收从Canal发送过来的binlog数据。

7. 处理接收到的binlog数据：根据业务需求，对接收到的binlog数据进行相应的处理，例如解析、存储或其他操作。

以上是一个基本的实现步骤，具体的实现细节还需要根据具体的需求进行调整和完善。

Canal客户端监听binlog的逻辑

1. 连接到MySQL数据库，并订阅binlog事件。

2. 当有binlog事件发生时，Canal客户端会解析binlog，并将变更的数据封装成消息。

3. 将消息发送到RocketMQ。

具体实现步骤如下：

     1. 引入Canal客户端依赖：

<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.5</version>
</dependency>

      2. 编写Canal客户端监听binlog的代码：

public class CanalClient {

    public static void main(String[] args) {
        // 创建Canal客户端对象
        CanalConnector connector = CanalConnectors.newSingleConnector(
                new InetSocketAddress("127.0.0.1", 3306), "example", "", "");

        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();

            while (true) {
                Message message = connector.getWithoutAck(1000);
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    Thread.sleep(1000);
                } else {
                    for (CanalEntry.Entry entry : message.getEntries()) {
                        if (entry.getEntryType() == CanalEntry.EntryType.ROWDATA) {
                            CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
                            String database = entry.getHeader().getSchemaName();
                            String table = entry.getHeader().getTableName();
                            MessageType type = MessageType.valueOf(rowChange.getEventType().name());

                            for (CanalEntry.RowData rowData : rowChange.getRowDatasList()) {
                                Map<String, String> data = new HashMap<>();
                                for (CanalEntry.Column column : rowData.getAfterColumnsList()) {
                                    data.put(column.getName(), column.getValue());
                                }
                                MessageProducer.send(database, table, type, data);
                            }
                        }
                    }
                    connector.ack(batchId); // 确认已经处理完该批次的数据
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            connector.disconnect();
        }
    }

}

在上述代码中，Canal客户端会连接到MySQL数据库，并订阅所有库表的binlog事件。当有binlog事件发生时，Canal客户端会将变更的数据封装成消息，并发送到RocketMQ。

     3. 发送消息到RocketMQ：

public class MessageProducer {

    private static final String NAMESRV_ADDR = "127.0.0.1:9876";
    private static final String TOPIC = "canal";

    public static void send(String database, String table, MessageType type, Map<String, String> data) {
        // 创建Producer对象，并指定namesrv地址
        DefaultMQProducer producer = new DefaultMQProducer("canal-producer");
        producer.setNamesrvAddr(NAMESRV_ADDR);

        try {
            producer.start();
            Message message = new Message(TOPIC, type.name(), generateKey(database, table), JSON.toJSONString(data).getBytes());
            SendResult result = producer.send(message);
            System.out.println("发送消息成功：" + result);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            producer.shutdown();
        }
    }

    private static String generateKey(String database, String table) {
        return database + ":" + table;
    }

}

在上述代码中，MessageProducer用于发送消息到RocketMQ。发送消息时，会将消息的类型设置为binlog事件类型，消息内容为变更的数据，消息的Key为数据库名和表名的组合，以便于消费端进行去重。

通过上述代码实现，当有binlog变更事件发生时，Canal客户端就能够及时地将变更的数据发送到RocketMQ，供消费端消费。

Flink自定义分区器（同时需要在 flink-cdc 中 mysql-cdc connector 的并行度设置为 1，因为 binlog 是一个文件，多个并行度读取难以保证顺序）应对 binlog 同步乱序

blog.csdn.net/dinl_vin/article/details/120348679

github.com/ververica/flink-cdc-connectors/discussions/1331

developer.aliyun.com/ask/359786

使用canal时，顺序消费应对 binlog 同步乱序

https://juejin.cn/post/7111129792765755422

https://blog.51cto.com/u_15499328/5257653

使用canal时，配置分片策略按指定的 key 分配到消息队列来应对 binlog 同步乱序

github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart#33-%E9%85%8D%E7%BD%AE%E4%BF%AE%E6%94%B9%E5%8F%82%E6%95%B0