mysql并发写入数据_实时数据并发写入 Redis 优化

最新推荐文章于 2024-07-22 03:56:02 发布

weixin_39607240

最新推荐文章于 2024-07-22 03:56:02 发布

阅读量153

点赞数

文章标签： mysql并发写入数据

本文链接：https://blog.csdn.net/weixin_39607240/article/details/113489381

版权

推荐阅读：

秋招面试总结：Java+并发+Spring+MySQL+分布式+Redis+算法+JVM等
面试败给Redis？一次性给你总结：高频面试+学习笔记+思维导图等
美团一面凉凉：MySQL+Java+Redis+算法+网络+Linux等一个都讲不清

01 背景

当前架构的逻辑是将并发请求数据写入队列中，然后起一个单独的异步线程对数据进行串行处理。这种方式的好处就是不用考虑并发的问题，当然其弊端也是显而易见的~

02 乐观锁实现数据的并发更新

根据当前业务的数据更新在秒级，key 的碰撞率较低的情况。笔者打算采用使用 CAS 乐观锁方案：使用 Lua 脚本实现 Redis 对数据的原子更新，即便是在并发的情况下其性能也会上一个级别。下面是 CAS 乐观锁实现数据并发更新的流程图：

根据上面的流程图设计出了 Lua 脚本：

local keys,values=KEYS,ARGVlocal version = redis.call('get',keys[1]) if values[1] == '' and version == falsethenredis.call('SET',keys[1],'1')redis.call('SET',keys[2],values[2])return 1endif version == values[1]thenredis.call('SET',keys[2],values[2])redis.call('INCR',keys[1])return 1elsereturn 0end

03 可能存在问题及其解决方案

1，在并发冲突概率大的高竞争环境下，如果CAS一直失败，会一直重试，CPU开销较大。针对这个问题的一个思路是引入退出机制，如重试次数超过一定阈值后失败退出。如：

func main() { for i := 0; i < 10; i++ { isRetry := execLuaScript() if !isRetry { break  } }}func execLuaScript() bool { ctx := context.Background()r := client.GetRedisKVClient(ctx)defer r.Close()luaScript := `local keys,values=KEYS,ARGVlocal version = redis.call('get',keys[1]) if values[1] == '' and version == falsethenredis.call('SET',keys[1],'1')redis.call('SET',keys[2],values[2])return 1endif version == values[1]thenredis.call('SET',keys[2],values[2])redis.call('INCR',keys[1])return 1elsereturn 0end`casVersion, err := r.Get("test_version")kvs := make([]redis.KeyAndValue, 0)kvs = append(kvs, redis.KeyAndValue{"test_version