双十一大促是怎么做MySQL热点数据高效更新的?

图片

MySQL的热点数据更新问题,一直都是行业内的一个难题,对于秒杀场景至关重要。一旦处理不好,就可能会导致数据库被打垮。

通常来说,对于热点问题,都是选择使用Redis来抗,比如秒杀场景借助他的单线程高并发能力来做预扣减。

                                                                        常规方案

但是,引入Redis又会带来数据不一致的问题,进而会导致超卖和少卖,如果一定要在MySQL这个层面上,抗住高并发的热点数据并发更新,有什么方案呢?拿库存扣减举例

1、库存拆分,把一个大的库存拆分成多个小库存,拆分后,一次扣减动作就可以分散到不同的库、表中进行,降低锁粒度提升并发。

    优点:实现较简单

    缺点:存在碎片问题、库存调控不方便

2、请求合并,把多个库存扣减请求,合并成一个,进行批量更新。

    优点:简单

    缺点:适用于异步场景,或者经过分析后认为可以合并的场景

3、把update转换成insert,直接插入一次占用记录,然后异步统计剩余库存,或者通过SQL统计流水方式计算剩余库存。

    优点:没有update,无锁冲突

    缺点:insert时控制不好容易超卖、insert后剩余库存不好统计

                                                                        企业级方案

除了上面这三个方案外,重点介绍一个很多大公司在用的,扛了618/双11等大促的高并发的秒杀的方案。

那就是改造MySQL

主要思路就是,针对于频繁更新或秒杀类业务场景,大幅度优化对于热点行数据的update操作的性能。当开启热点更新自动探测时,系统会自动探测是否有单行的热点更新,如果有,则会让大量的并发 update 排队执行,以减少大量行锁造成的并发性能下降。

也就是说,他们改造了MySQL数据库,让同一个热点行的更新语句,在执行层进行排队。这样的排队相比update的排队,要轻量级很多,因为他不需要自旋,不需要抢锁。

这个方案的好处就是开发不需要做额外的事情,只需要开启热点检测就行了。缺点就是改造MySQL数据库有成本。不过现在很多云上数据库都支持了。

                                                                        效果如何?

比如阿里云的数据库在做过改造之后,就做过单行热点数据更新测试。

本示例中,分别使用两个实例进行测试(高可用版和三节点企业版),规格码为rds.mysql.st.v52和mysql.st.12xlarge.25。

  • 实例版本:MySQL 5.7

  • 实例规格:90核720GB(独占物理机型)

  • 实例系列:高可用版和三节点企业版

  • 实例存储类型:本地盘

  • 实例模板:高性能参数模板

测试数据为单表,表内100行记录。表结构如下:

CREATE TABLE `sbtest1`
(
`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT   
,`k` INT(10) UNSIGNED NOT NULL DEFAULT '0'   
,`c` CHAR(120) NOT NULL DEFAULT ''   
,`pad` CHAR(60) NOT NULL DEFAULT ''   
,PRIMARY KEY (`id`)   
,KEY `k_1` (`k`)
)
ENGINE=InnoDB AUTO_INCREMENT=101 DEFAULT
CHARSET=utf8 MAX_ROWS=1000000

对id=100的记录进行并发更新,SQL如下:

UPDATE sbtest1 SET k=k+1 WHERE id=100

测试的Lua脚本如下:

pathtest = string.match(test,"(.*/)")
if pathtest then
   dofile(pathtest .."common.lua")
else
   require("common")
end
function thread_init(thread_id)
   set_vars()
end
function event(thread_id)
   local table_name
   table_name ="sbtest".. sb_rand_uniform(1, oltp_tables_count)
   rs = db_query("begin")
   rs = db_query("update /*+commit_on_success rollback_on_fail target_affect_row(1) */ sbtest1 SET k=k+1 WHERE id=100")
   rs =db_query("commit")
end

测试结果

本文内容节选自我最近出的Java面试宝典,类似的问题及答案还有600多道题。包括如何用Redis实现秒杀、如何防止库存超卖及少卖等。内容都像本文一样,都是真实的企业级方案,并不是那些网上随便找到的内容。

我们会持续更新内容,争取做到全网最新、最全、最准确的Java后端面试宝典。

当然也可以前往右方链接获取相关资料:相关资料获取方式

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值