rocketMq - master/slave同步

本章主要需要讲清楚两个概念，第一个是slave主动和master同步，第二个是master主动和slave同步。而且我保证这是唯一一篇能够把这两个过程讲清楚的文章，至少在这篇文章之前我找了很多文章，没有一篇文章将整个过程合起来讲解清楚的，说明还是花了时间在里面的。

slave->master同步：主要是指slave会定期向master发起同步数据请求，master向slave返回数据。

master->slave同步：在设置为同步双写的时候,master每写入一条消息都会同步到slave当中。

master/slave同步报文格式

报文格式

说明

    1、slave上报进度的时候只要一个位置就够了

    2、master同步slave的时候需要传递物理位移，数据长度以及数据。

slave上报进度并同步数据

slave同步master

说明：共享自互联网

1、作为slave角色的broker启动的时候会读取本地mappedFile文件获取消息最大偏移量

2、作为master的角色在收到broker上报的消息偏移量开始基于这个位置循环向slave发送消息

3、作为slave角色的broker在收到master发来的消息开始写mappedFile并同时上报偏移量

4、补充说明一下步骤2的过程中master只参考slave第一次上报的位移作为起始偏移发送消息，在这之后master向slave发送数据是自循环的

--------------------------slave->master过程---------------------------

slave->master的master端代码

slave同步master核心类

说明：

1、HAConnection主要用于slave向master同步数据时候master端的处理逻辑。

2、ReadSocketService负责读取slave上报的数据并更新同步进度。

3、WriteSocketService负责源源不断的往slave发送数据。

slave->master的master同步进度

ReadSocketService核心代码

说明

    1、ReadSocketService负责读取slave上报进度，并在第一次作为起始位移开始同步数据

    2、非第一次读取slave上报的进度的时候，通知其他等待进程消息已经同步到slave当中，这里所谓的其他线程是指配置了master/slave同步写的进程，那些进程写完master后等待slave同步完数据并上报进度后才会被唤醒。

    3、重点来了，好好理解步骤2中这句话的意思。

slave->master的master同步数据

master同步数据给slave

说明：

    1、master第一次以slave上报的偏移量作为起始偏移量，注意强调了第一次采用上报偏移量

    2、master有了起始偏移量后就自行源源不断的同步数据给slave

    3、组装报文并发送给slave节点

slave->master的slave端处理逻辑

slave上报master并解析返回结果

说明：参见HAService。

    1、slave定期上报进度

    2、处理master同步过来的数据并保存

    3、如果同步数据成功后立即向master汇报最新的位移

slave实际保存数据

说明：

    1、这部分的处理逻辑实际上是slave处理逻辑的进一步深入也就是保存消息数据的地方

    2、保存完以后立即调用reportSlaveMaxOffsetPlus上报数据

    3、reallocateByteBuffer函数内部的实现非常巧妙，解决了buffer不够的问题

--------------------------master->slave过程---------------------------

这个过程需要理解一个过程，一个比较绕的过程

1、master写完数据数据后生成master->slave同步请求并wakeup同步线程立即执行

2、master同步等待master->slave同步完成，同步过程是一个链路

3、master->slave同步请求发出去过，master处于等待状态，slave同步完master以后会回传进度，监控进程会不停的检查回传进度，检测回传的进度大于刚发送出去的master->slave的进度的时候认为同步写完成，然后就返回。

master_sync模式下的写

master写完数据同步slave

说明：参见CommitLog类的putMessage方法

    1、appendMessage数据写到commitLog

    2、handleHA内部判断如果是master_sync且为master节点才开始同步消息

生成master->slave同步请求并通知同步线程工作

说明：

    1、创建master->slave同步请求并投递，wakeupAll同步线程立即同步数据

    2、等待同步数据的进度，flushOK表示已经同步完成

    3、这里要看清楚，putRequest是调用的this.groupTransferService.putRequest。

检查是否同步完成的代码逻辑

说明：

    1、这个图说明了检查同步完成的整个过程，通过检查返回的位移大于发送消息的位移来保证同步完成。

    2、req.wakeupCustomer其实就是用来告知一个开始投递的req数据同步已完成，对照上面两个图就可以看懂了，一定对比上面两张图。

    3、那么问题来了，这个的push2SlaveMaxOffset是什么时候更新的呢？

master同步了slave的进度

通知同步进度

说明：

    1、也就是说真正触发整个过程是有AcceptSocketService服务引起的，AcceptSocketService服务接收上报进度并通知notify机制通知原本在等待同步完成的线程。

交互过程

说明：

    1、master->slave同步的过程整体过程如上图，需要自己稍微消化一下。