redis集群断电数据怎么恢复_1000+Redis实例,100+集群,Redis 在海量数据和高并发下的优化...

原文:http://www.enmotech.com/web/detail/1/750/1.html (复制链接,打开原文即可查看)

导读:Redis 对于从事互联网技术工程师来说并不陌生,几乎所有的大中型企业都在使用 Redis 作为缓存数据库。

但是对于绝大多数企业来说只会用到它的最基础的 KV 缓存功能,还有很多 Redis 的高级功能可能都未曾认真实践过。

来自掌阅的工程师钱文品将为大家带来:《Redis 在海量数据和高并发下的优化实践》的主题分享。

他将围绕 Redis 分享在平时的日常业务开发中遇到的 9 个经典案例,希望通过此次分享可以帮助大家更好的将 Redis 的高级特性应用到日常的业务开发中来。

掌阅电子书阅读软件 ireader 的总用户量大概是 5 亿左右,月活 5000 万,日活近 2000 万 。服务端有 1000 多个 Redis 实例,100+ 集群,每个实例的内存控制在 20G 以下。

KV 缓存


第一个是最基础,也是最常用的就是 KV 功能,我们可以用 Redis 来缓存用户信息、会话信息、商品信息等等。

下面这段代码就是通用的缓存读取逻辑:

def get_user(user_id): user = redis.get(user_id) if not user: user = db.get(user_id) redis.setex(user_id, ttl, user) // 设置缓存过期时间 return userdef save_user(user): redis.setex(user.id, ttl, user) // 设置缓存过期时间 db.save_async(user) // 异步写数据库

这个过期时间非常重要,它通常会和用户的单次会话长度成正比,保证用户在单次会话内尽量一直可以使用缓存里面的数据。

当然如果贵公司财力雄厚,又极致注重性能体验,可以将时间设置的长点甚至干脆就不设置过期时间。当数据量不断增长时,就使用 Codis 或者 Redis-Cluster 集群来扩容。

除此之外 Redis 还提供了缓存模式,Set 指令不必设置过期时间,它也可以将这些键值对按照一定的策略进行淘汰。

打开缓存模式的指令是:config set maxmemory 20gb ,这样当内存达到 20GB 时,Redis 就会开始执行淘汰策略,给新来的键值对腾出空间。

这个策略 Redis 也是提供了很多种,总结起来这个策略分为两块:划定淘汰范围,选择淘汰算法。

比如我们线上使用的策略是 Allkeys-lru。这个 Allkeys 表示对 Redis 内部所有的 Key 都有可能被淘汰,不管它有没有带过期时间,而 Volatile 只淘汰带过期时间的。

Redis 的淘汰功能就好比企业遇到经济寒冬时需要勒紧裤腰带过冬进行一轮残酷的人才优化。

它会选择只优化临时工呢,还是所有人一律平等都可能被优化。当这个范围圈定之后,会从中选出若干个名额,怎么选择呢,这个就是淘汰算法。

最常用的就是 LRU 算法,它有一个弱点,那就是表面功夫做得好的人可以逃过优化。

比如你乘机赶紧在老板面前好好表现一下,然后你就安全了。所以到了 Redis 4.0 里面引入了 LFU 算法,要对平时的成绩也进行考核,只做表面功夫就已经不够用了,还要看你平时勤不勤快。

最后还有一种极不常用的算法:随机摇号算法。这个算法有可能会把 CEO 也给淘汰了,所以一般不会使用它。

分布式锁


下面我们看第二个功能:分布式锁,这个是除了 KV 缓存之外最为常用的另一个特色功能。

比如一个很能干的资深工程师,开发效率很快,代码质量也很高,是团队里的明星。所以诸多产品经理都要来烦他,让他给自己做需求。

如果同一时间来了一堆产品经理都找他,他的思路呢就会陷入混乱,再优秀的程序员,大脑的并发能力也好不到哪里去。

所以他就在自己的办公室的门把上挂了一个请勿打扰的牌子,当一个产品经理来的时候先看看门把上有没有这个牌子,如果没有呢就可以进来找工程师谈需求,谈之前要把牌子挂起来,谈完了再把牌子摘了。

这样其他产品经理也要来烦他的时候,如果看见这个牌子挂在那里,就可以选择睡觉等待或者是先去忙别的事。如是这位明星工程师从此获得了安宁。

d7b11fd0e79105c2979458b1f3b2ba1f.png

这个分布式锁的使用方式非常简单,就是使用 Set 指令的扩展参数如下:

# 加锁set lock:$user_id owner_id nx ex=5# 释放锁if redis.call("get
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值