目录
整体架构
kafka是我们目前主要使用的消息队列服务,之前一直使用redis队列(基于laravel自带的消息队列服务),但考虑到redis的不稳定性,我们慢慢将队列服务迁移到了kafka. 我们的业务开发语言是php,基于此我们介绍一下我们的kafka架构设计,以及使用过程中需要注意的点,我们还把相关的源代码放在了github上 kafka-client kafka-consumer-proxy
kafka作为一种消息队列服务,我们将消息发给kafka集群,然后通过消费者将消息读取出来,所以说kafka对消息的消费是拉模式(pull),关于消费拉(pull)或推(push)的模式优劣,kafka官方文档有说明,但是对于我们php业务模块来说,如果由每个业务去开发维护自己的消息消费者,成本较高且容易出错,所以我们开发了消息转发代理(proxy),将kafka的拉模式转为推模式,proxy将消息从kafka集群读出来,然后将消息转发给相应模块,相应模块只要提供http的接口即可接收消息。整体架构如下图所示:
我们的proxy通过php实现,即不同队列(topic)使用不同的php进程组进行消费,这样各业务队列的消费是相互隔离的,一个队列消费出问题不影响其它的队列. 可以将我们的proxy理解为集中管理的消费者进程组,同时不直接处理消息,而是将消息向http接口转发出去。
当然,也可以选择即时处理消息而不转发, 应该场景较少。(如处理耗时太长的消息)
消息发送到kafka集群
通过composer的方式引入我们的客户端库后,发送消息很简单,设置队列名,然后发送即可,代码示例如下:
KafkaClient::init('127.0.0.1', '/home/work/logs/kafka'); //设置集群地址,及日志地址
KafkaClient::setTopic('topic_name');//设置队列名
KafkaClient::sendMsgAsyn("test msg");//异步发送消息
//or
KafkaClient::sendMsg("test msg");//同步发送消息
我们发送消息的库使用rdkaka扩展(