kafka消息消费转发代理模式在php中的使用实践

整体架构

kafka是我们目前主要使用的消息队列服务，之前一直使用redis队列（基于laravel自带的消息队列服务），但考虑到redis的不稳定性，我们慢慢将队列服务迁移到了kafka. 我们的业务开发语言是php，基于此我们介绍一下我们的kafka架构设计，以及使用过程中需要注意的点，我们还把相关的源代码放在了github上 kafka-client kafka-consumer-proxy

kafka作为一种消息队列服务，我们将消息发给kafka集群，然后通过消费者将消息读取出来，所以说kafka对消息的消费是拉模式(pull)，关于消费拉(pull)或推(push)的模式优劣，kafka官方文档有说明，但是对于我们php业务模块来说，如果由每个业务去开发维护自己的消息消费者，成本较高且容易出错，所以我们开发了消息转发代理(proxy)，将kafka的拉模式转为推模式，proxy将消息从kafka集群读出来，然后将消息转发给相应模块，相应模块只要提供http的接口即可接收消息。整体架构如下图所示：

我们的proxy通过php实现，即不同队列(topic)使用不同的php进程组进行消费，这样各业务队列的消费是相互隔离的，一个队列消费出问题不影响其它的队列. 可以将我们的proxy理解为集中管理的消费者进程组，同时不直接处理消息，而是将消息向http接口转发出去。
当然，也可以选择即时处理消息而不转发, 应该场景较少。（如处理耗时太长的消息）

消息发送到kafka集群

通过composer的方式引入我们的客户端库后，发送消息很简单，设置队列名，然后发送即可，代码示例如下：

KafkaClient::init('127.0.0.1', '/home/work/logs/kafka'); //设置集群地址，及日志地址
KafkaClient::setTopic('topic_name');//设置队列名
KafkaClient::sendMsgAsyn("test msg");//异步发送消息
//or
KafkaClient::sendMsg("test msg");//同步发送消息

我们发送消息的库使用rdkaka扩展(