celery cluser redis_Celery配置Redis Sentinel做高可用

关于Celery的基本知识很早就提过了，这里讲讲在使用redis做broker时如何做到redis的高可用。

一共有三种预选方案，第一种是使用redis cluster+haproxy+keepalived，一种方式使用redis sentinel，还有一种是使用codis这类redis proxy。

我使用第一种方式搭建起来了一个高可用redis集群，它实现了接口透明，但是redis cluster只有一个db 0，没有其他db可用。并且使用这种方法，结合到celery上去，celery worker都未启起来。后来又翻了一下celery在github上的issue，感觉celery的作者并没打算去支持它，也可能是我能力不足，没找到相关的资料。所以我放弃这种方法了。如果有别的应用场景需要做redis的高可用，可以参考这种方案。可以阅读这篇文章和这篇文章以自己实践。

第三种方案的困难在于，我感觉codis的文档很少，搭建起来很费力，所以没有深入研究它，或许以后有时间，还是会去尝试的，多学一些以开拓视野。

第二种方案是本文要详细介绍的。在celery4.0以后，celery官方实现了对redis sentinel的支持。

首先，第一步便是搭建redis sentinel。我在以前的博文中写过如何搭建，这里就不再啰嗦了。

然后，我们需要在项目的初始化 Celery APP之后，使用

app.conf.broker_url = 'sentinel://localhost:26379;sentinel://localhost:26380'

app.conf.broker_transport_options = { 'master_name': "cluster1" }

来设置sentinel相关的信息。除了这种方式，我们也可以在初始化celery app的时候直接指定broker_url。

这里需要注意一点，这种方式不能指定backend，否则celery worker也无法启起来，也可能是我指定backend的方式不对吧，这一点还需要进一步确认。

经过这两步之后，关于celery+redis sentinel的配置就说完了。

经过两天的努力，总算是解决了celery redis broker的高可用问题，不过在这过程中，还有一些问题需要去复现和解决，比如celery 和redis cluster的问题，还有redis sentinel一直选举leader的问题。