多数据更新冲突处理机制

一 背景

        在做一个数据合并项目的时候，遇到了多数据源更新同一数据，导致并发更新冲突的问题。具体场景是，有一个数据实时采集服务，然后通过数据merge服务，完成最终的数据合并操作。但是在做合并操作时，有可能会存在并发冲突，后一个线程将前一个线程刚处理后的字段给覆盖。当时的存储引擎是es，虽然es本身自带版本控制功能，但是由于es自身的刷新时间间隔，以及项目本身设置的刷新时间较长（场景所需），会导致数据的不可见性，所以不能依赖es本身的冲突控制机制

二 解决方案

         为了解决冲突问题，想法是引入任务调度系统，负责具体的调度任务。首先，数据实时采集系统会将采集到的数据以标准格式存入到一张任务中间表中，然后任务调度系统会多线程并发从中间表中获取未处理的任务数据，此时引入分布式锁机制，根据设置的锁粒度，线程去尝试获取锁，获取到锁的数据则往下执行，失败则做具体的失败兼容逻辑。在锁的选择方面，我们选用的是redis，当然还有其他的方案，比如memcached，zookeeper等，各有千秋吧。当然，锁的超时时间很重要，这个要具体问题具体分析，但一定要记得有兜底机制释放你的锁。

三 简单流程图