Apache Pulsar topic归属问题

Topic归属

topic需要和broker绑定，zookeeper保存每个topic和broker之间的关系。

Bundle作为哈希环中的虚拟节点，如下图所示：

关于哈希环，zookeeper只保存Bundle和Broker之间的联系。

Bundle和broker之间的联系建立机制

Pulsar中的Lookup机制。作用是动态查找Topic在哪个broker上，如果一个Bundle被创建，它不会立即与Broker绑定，是需要通过Lookup机制进行Broker分配。Lookup可以查找topic所属的broker。（PS:数据流是长链接）

具体流程如下：

• Broker收到Lookup命令。触发org.apache.pulsar.broker.service.ServerCnx#handleLookup
• 限流检查。Lookup涉及读取zookeeper的操作，Broker通过信号量实现对并发Lookup请求数的限制，可以在broker.conf配置文件中修改并发数。
• 身份认证，权限认证
• 校验集群。
• 校验Namespace。Pulsar有跨地域复制的能力。此处会校验Namespace是本集群的还是对等集群的。如果是对等集群的，则会返回相应的地址，Client再重定向过去。
• 根据Namespace找到所有的Bundle。我们在创建Namespace的时候可以指定Bundle数，如果未指定，则默认使用broker.conf中的defaultNumberOfNamespaceBundles配置。因此，Pulsar在Zookeeper的/admin/local-policies/[租户]/[namespace]路径下保存了当前Namespace下的所有Bundle信息。如果Broker的缓存中没有对应的Bundle信息，则会从zookeeper中读取。
• 计算Topic所属的Bundle。先计算Topic的哈希值，然后根据一致性哈希算法把topic放入哈希环，找到topic归属的Bundle中。
• 为Bundle找到对应的Broker。Bundle如果正在卸载（unload），则直接查找失败。如果Bundle的状态正常，并且Bundle已经归属某个Broker了，则直接返回该Broker的地址。如果Bundle还未归属于任何Broker，则触发Bundle归属流程。
• 确定Bundle的归属。确定让Bundle归属到哪个broker，并不是每个broker都可以做裁判，裁判broker的选定规则如下：
  • 优先选择hearbeat、SLAMonitor所在的broker。这部分现在没有使用，可以忽略。
  • 如果broker的loadManager使用的是中心化策略，则需要leader裁判，否则当前的broker就能裁判。loadManager用于记录broker负载。通过zookeeper还是会选举出一个leader，用于监控负载，为Bundle分配broker等。

​ 如果确认了裁判broker，并且裁判broker不是当前请求的broker，则会返回一个重定向，让客户端跳转到裁判broker。裁判broker通过loadManager查找负载最低broker并把Bundle分配给它。

​ 得知归属broker后，client再请求对应的broker，改broker会尝试在zookeeper中写入一个节点，如果写入成功则说明归属成功，如果写入失败则说明Bundle被别的broker抢到了。