kafka解决mysql多线程读写问题

kafka解决mysql多线程读写问题

0-背景

状态机

项目中的流转状态是由pipeline/stage/job/task四个层级的概念共同维护的.

为了维护这样的状态,流水线服务内置了pipeline_fsm/stage_fsm/job_fsm/task_fsm四个有限状态机来进行状态的控制.四个状态机的状态流转逻辑是相同的.

状态机状态控制的多写问题

为了能够实现双向的状态流转,即顶层的流水线状态控制可以影响执行的任务(如暂停流水线可以使正在执行的任务同步暂停),同时也允许底层的任务的状态影响整个流水线的状态(如暂停当前正在执行的任务可以使整个流水线的状态也进入到暂停状态).
这种双重的状态影响是很有必要的,因为整体的流程控制到单个任务的状态控制都是有需求的,而这两者的状态必须互通.

正常情况下的状态机的状态流转是

1. 读取mysql当前的状态机
2. 根据信号和状态转移规则进行新状态的计算
3. 将新状态写入mysql

但是由于状态机是允许自上而下和自下而上两个方向进行修改,因此事实上存在着多线程对单个的状态机状态进行修改.

1-顺序处理状态流转消息

能直接想到的方法有两项:

<1> 数据库表读写锁

但是读