好久没写博客了。
最近公司开了新项目,我负责的内容之一是系统的后端。具体项目内容我就不介绍了,但是用到的技术有些还是很有趣的,值得记录一下。今天介绍的就是其中一个:利用redis的pubsub订阅消息功能做消息队列。
对于这个功能本身,还是比较简单的。redis本身支持了publish/subscribe的功能,publish是广播消息,subscribe是订阅消息。服务端使用
publish [channel] [content]
发布了一条消息,如果客户端已经提前订阅了这个频道,这个时候就可以收到消息了。订阅的命令也很简单
subscribe [channel]
之后客户端就开始进入监听状态了。
这个功能用python实现起来也很简单,直接使用redis库就可以。至于基本的使用方法,我就不介绍了,这个随便百度一下就一大片。重点来说说redis里面的pubsub功能——其实也是百度翻到的,写一个辅助类:
class RedisSubscriber(object): """ Redis频道订阅辅助类 """ def __init__(self, channel): self._sentinel = Sentinel(config.RedisConfig.HOST_PORT, password=config.RedisConfig.PASSWORD) self.conn = self._sentinel.master_for(config.RedisConfig.MASTER) self.channel = channel # 定义频道名称 def psubscribe(self): """ 订阅方法 """ pub = self.conn.pubsub() pub.psubscribe(self.channel) # 同时订阅多个频道,要用psubscribe pub.listen() return pub
这个类里面需要解释的有两个地方:
- 一是连接方式。使用python连接redis有三种方式:①使用库中的Redis类(或StrictRedis类,其实差不多);②使用ConnectionPool连接池(可保持长连接);③使用Sentinel类(如果有多个redis做集群时,程序会自己选择一个合适的连接)。我项目中的redis就是个集群,所以使用了第三种方式。
- 二是订阅方法。这里使用的是StrictRedis类中的pubsub方法。连接好之后,可使用subscribe或psubscribe方法来订阅redis消息。其中subscribe是订阅一个频道,psubscribe可订阅多个频道(这样写的时候,作为参数的频道应该是一个列表)。之后就可以开始监听了。
接收的地方是这样:
def test(): subscriber = RedisSubscriber([channel1, channel2, ...]) redis_sub = subscriber.psubscribe() # 调用订阅方法 while True: msg = redis_sub.parse_response(block=False, timeout=60) print("收到订阅消息 %s" % msg)
注意:
- 刚开始监听的时候,会收到一条消息,类似于 [b'psubscribe', b'#你订阅的频道#', 1] 这样。出现了这条消息,说明订阅成功了。
- parse_response像这么使用的话,是非阻塞的,如果收不到消息,60秒收不到消息就会返回None。这俩参数可以不加,变成阻塞的。
这就完了。
这就完了?大多数文章就只是简单的介绍到这里了。但是我在使用的时候发现一个非常恶心的问题:
订阅消息过一段时间后就没动静了。没有任何异常,就是简单的停下了。时间不定,比较常见的是2-4个小时,长的话可能两三天(python群里有位朋友也出现了一毛一样的问题,也是找了很多资料无果)。我也找了很多资料,有的说是redis服务器缓存满了,就断开了,可以通过修改redis-server的缓存大小来解决。可是,这不科学啊!
再经过几天的实验和研究,我猜测了这种情况可能发生的原因:
客户端只是主动连接了服务器,而服务器是不在意的,过段时间发现这个客户端没啥用,就主动断开了。之后,客户端也不会有报错,只是尴尬地订阅着空气。。。
![](https://i-blog.csdnimg.cn/blog_migrate/685b258ed858d3c811c2c0c6ccd36fbb.jpeg)
这个世界好安静啊!
于是我又尝试了各种方法,比如:订阅返回None的时候把订阅取消,重新订阅——不管用;把连接断掉重新建立连接——不管用;随便给redis发一条消息——也不管用。
![](https://i-blog.csdnimg.cn/blog_migrate/68e32bad1759ba2e08629a394e996faf.jpeg)
所以我不开心了。我决定采用比较暴力的方式:redis连接建立后,就开一条线程,每分钟主动给服务器发送一条消息(这就好比你睡觉的时候,有人在你身边,每分钟问你一遍,喂,你还活着吗?)。我在RedisSubscriber这个辅助类里面加了个方法:
def keep_alive(self): """ 保持客户端长连接 """ ka_thread = threading.Thread(target=self._ping) ka_thread.start() def _ping(self): """ 发个消息,刷存在感 """ while True: time.sleep(60) # 尝试向redis-server发一条消息 if not self.conn.ping(): print("oops~ redis-server get lost. call him back now!") del self._sentinel self._sentinel = Sentinel(config.RedisConfig.HOST_PORT, password=config.RedisConfig.PASSWORD) self.conn = self._sentinel.master_for(config.RedisConfig.MASTER)
然后,在test()中,创建好RedisSubscriber类对象之后,加一句
subscriber.keep_alive()
就好。
经过了一个礼拜的测试,订阅消息还活着。我想这差不多可以算是我猜对了。暂时当做这个问题解决了吧。