缓存惊群现象,在各种缓存中都会存在这种现象,这里以Redis为例,提供一种解决思路,留作参考~
首先,所谓的缓存过期引起的“惊群”现象是指,在大并发情况下,我们通常会用缓存来给数据库分压,但是会有这么一种情况发生,那就是当一个缓存数据失效之后会导致同时有多个并发线程去向后端数据库发起请求去获取同一个数据,这样如果在一段时间内同时生成了大量的缓存,然后在另外一段时间内又有大量的缓存失效,这样就会导致后端数据库的压力突然增大,这种现象就可以称为“缓存过期产生的惊群现象”!
以下代码的思路,就是利用“锁机制”来防止惊群现象。先看代码:
class KomaRedis{
private $redis; //redis对象
private static $_instance = null;
private function __construct($config = array())
{
if (empty($config)) {
return false;
}
$this->redis = new Redis();
$this->redis->connect($config['server'], $config['port']);
return $this->redis;
}
/**
* @param array $config
* @return redis操作类对象
*/
public static function getInstance($config = array())
{
if (!(self::$_instance instanceof self)) {
self::$_instance = new self ($config);
}
return self::$_instance;
}
/**
* 获取缓存
* @param $key string $name
* @return array,object,number,string,boolean
* @desc 此方法使用了锁机制来防止防止缓存过期时所产生的惊群现象,保证只有一个进程不获取数据,可以更新,其他进程仍然获取过期数据
*/
public function getByLock($key)
{
$sth = $this->redis->get($key);
if ($sth === false) {
return $sth;
} else {
$sth = json_decode($sth, TRUE);
if (intval($sth['expire']) <= time()) {
$lock = $this->redis->incr($key . ".lock");
if ($lock === 1) {
return false;
} else {
return $sth['data'];
}
} else {
return $sth['data'];
}
}
}
/**
* 设置缓存
* @param $key string $name 缓存键
* @param $value $string ,array,object,number,boolean $value 缓存值
* @param null $ttl $string ,number $ttl 过期时间,如果不设置,则使用默认时间,如果为 infinity 则为永久保存
* @return bool
* @desc 此方法存储的数据会自动加入一些其他数据来避免惊群现象,如需保存原始数据,请使用 set
*/
public function setByLock($key, $value, $ttl = null)
{
if (is_numeric($ttl) && intval($ttl) > 0) {
$ttl = intval($ttl);
$exp = time() + $ttl;
$arg = array("data" => $value, "expire" => $exp);
} else {
$ttl = 300;
$exp = time() + $ttl;
}
empty($ttl) OR $ttl += 300; //增加redis缓存时间,使程序有足够的时间生成缓存
$arg = array("data" => $value, "expire" => $exp);
$rs = $this->redis->setex($key, $ttl, json_encode($arg, TRUE));
$this->redis->del($key . ".lock");
return $rs;
}
/**
* 返回redis对象
* redis有非常多的操作方法,我们只封装了一部分
* 拿着这个对象就可以直接调用redis自身方法
*/
public function redis()
{
return $this->redis;
}
}
原理就是:
首先,在存储数据的时候,设置数据的过期时间比实际设置的过期时间多300秒,然后存储的数据中,通过一个数组来存储数据,数组中一个键用来存放真实的数据,另外一个键用来存放数据的真实过期时间,这个留到后期获取数据的时候做校验,然后把对应这个数据的“锁”删除掉。
这里这么做的原因和读取数据的做法相关!
然后,在读取数据的时候,依然像平时一样直接读取,如果数据已经超过了有效期(注意:这里的有效期并非设置的有效期,而是更该之后的有效期),那么就只能去读后端数据库。如果数据依然有效,则需要去判断,判断数据“在真正的有效期内是否失效”,如果没有失效,则直接返回数据!
重点是,假如数据“在伪造的有效期内没有失效,而在真正的有效期内已经失效”,那么这时就需要去判断“数据的锁”!
通过代码“$lock = $this->redis->incr($key . ".lock");”可以获取数据的锁,“$lock === 1”表示数据没有锁,那么这一次请求需要发送到后端数据库去读取最新的数据,否则的话表示该数据已经加了锁,也就是已经有一个线程去后端读取数据了,那么后来的线程也就没有权限再去后端取数据,需要等到前面的那个线程执行结束,但是这次读取就只能读取“旧的数据”了!
通过上面的解释也就明白,为什么在存储数据的时候需要“删除数据的锁”!因为一旦数据被重新存储,那么说明已经有一个线程去后端得到了最新的数据,那么该数据的锁就可以释放,然后下一个线程在获取数据的时候如果有需要就可以得到这个锁,然后才有权限进入到后端去读取新数据!
1.并发访问限制问题
对于一些需要限制同一个用户并发访问的场景,如果用户并发请求多次,而服务器处理没有加锁限制,用户则可以多次请求成功。
例如换领优惠券,如果用户同一时间并发提交换领码,在没有加锁限制的情况下,用户则可以使用同一个换领码同时兑换到多张优惠券。
伪代码如下:
if A(可以换领)
B(执行换领)
C(更新为已换领)
D(结束)
如果用户并发提交换领码,都能通过可以换领(A)的判断,因为必须有一个执行换领(B)后,才会更新为已换领(C)。因此如果用户在有一个更新为已换领之前,有多少次请求,这些请求都可以执行成功。
2.并发访问限制方法
使用文件锁可以实现并发访问限制,但对于分布式架构的环境,使用文件锁不能保证多台服务器的并发访问限制。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
本文将使用其setnx方法实现分布式锁功能。setnx即Set it N**ot eX**ists。
当键值不存在时,插入成功(获取锁成功),如果键值已经存在,则插入失败(获取锁失败)
RedisLock.class.php
<?php
/**
* Redis锁操作类
* Date: 2016-06-30
* Author: fdipzone
* Ver: 1.0
*
* Func:
* public lock 获取锁
* public unlock 释放锁
* private connect 连接
*/
class RedisLock { // class start
private $_config;
private $_redis;
/**
* 初始化
* @param Array $config redis连接设定
*/
public function __construct($config=array()){
$this->_config = $config;
$this->_redis = $this->connect();
}
/**
* 获取锁
* @param String $key 锁标识
* @param Int $expire 锁过期时间
* @return Boolean
*/
public function lock($key, $expire=5){
$is_lock = $this->_redis->setnx($key, time()+$expire);
// 不能获取锁
if(!$is_lock){
// 判断锁是否过期
$lock_time = $this->_redis->get($key);
// 锁已过期,删除锁,重新获取
if(time()>$lock_time){
$this->unlock($key);
$is_lock = $this->_redis->setnx($key, time()+$expire);
}
}
return $is_lock? true : false;
}
/**
* 释放锁
* @param String $key 锁标识
* @return Boolean
*/
public function unlock($key){
return $this->_redis->del($key);
}
/**
* 创建redis连接
* @return Link
*/
private function connect(){
try{
$redis = new Redis();
$redis->connect($this->_config['host'],$this->_config['port'],$this->_config['timeout'],$this->_config['reserved'],$this->_config['retry_interval']);
if(empty($this->_config['auth'])){
$redis->auth($this->_config['auth']);
}
$redis->select($this->_config['index']);
}catch(RedisException $e){
throw new Exception($e->getMessage());
return false;
}
return $redis;
}
} // class end
?>
demo.php
<?php
require 'RedisLock.class.php';
$config = array(
'host' => 'localhost',
'port' => 6379,
'index' => 0,
'auth' => '',
'timeout' => 1,
'reserved' => NULL,
'retry_interval' => 100,
);
// 创建redislock对象
$oRedisLock = new RedisLock($config);
// 定义锁标识
$key = 'mylock';
// 获取锁
$is_lock = $oRedisLock->lock($key, 10);
if($is_lock){
echo 'get lock success<br>';
echo 'do sth..<br>';
sleep(5);
echo 'success<br>';
$oRedisLock->unlock($key);
// 获取锁失败
}else{
echo 'request too frequently<br>';
}
?>
测试方法:
打开两个不同的浏览器,同时在A,B中访问demo.php
如果先访问的会获取到锁
输出
get lock success
do sth..
success
另一个获取锁失败则会输出request too frequently
保证同一时间只有一个访问有效,有效限制并发访问。
为了避免系统突然出错导致死锁,所以在获取锁的时候增加一个过期时间,如果已超过过期时间,即使是锁定状态都会释放锁,避免死锁导致的问题。
redis 限制并发访问
最新推荐文章于 2024-05-31 10:00:00 发布