什么是热点数据
设想如下场景:
1、有一条现金账号(大商户在mysql上的一条记录),同时有数十万人在往上面转账,账务数据是必须同步持久化的,这种情况下很难做到所有请求同步update这条记录。
2、大商户准备一笔钱给社交网络的大量用户发放红包,需要在高并发下对这条账户减钱成功,并不会减成负数。
以上场景是不能用缓存、简单的分库分表来实现的,因为是对指定的一条数据进行操作,且要求同步持久化,这种问题简单用下图来表示:
解决方案:
对于场景1,可以称之为加钱频繁账户,可以采用加钱时只做记录(单条请求持久化),然后一段时间后再合并总金额一起update到目标账户上去。
对于场景2,称为减钱频繁账户,每次请求都必须对余额进行更新,然后才能进行下次操作,要不然可能会扣成负数造成资损;这种情况下,可以采用分拆子账户的方式,将一条账户数据拆成100条数据(一条100万变成100条一万),减钱请求随机命中其中一条。当出现子账户有余额,但不足以扣减时,进行子账户合并。最终100条数据又会合并成一条数据。
系统设计思路:
加法频繁数据,我们需要高可用的缓存/分布式数据库,将加法请求记录,由计划任务进行求和并update到目标数据。
减法频繁数据,需要有一个数据扩容的功能(对单条数据进行水平扩展),自动/手动将一条大额记录拆分成n个子记录,还有一个合并子记录的功能。