本文公众号链接为:https://mp.weixin.qq.com/s/GdajDASVCHUUcESptJ9bwg
NSQ 是实时的分布式消息处理平台,其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征,是一个成熟的、已在大规模生成环境下应用的产品。
源码地址:https://github.com/nsqio/nsq
对于一个大型的项目来讲,我个人的学习习惯于从最小版本开始学起。这是因为,在一个项目最初的时候,大体功能和架构都已经成形,最初的版本,一般来说,代码量都较少,功能集最小。学习曲线低,并且又最初版本,慢慢往高版本过渡,也能更了解项目进化的过程,也是一个学习的过程。
并且在实际使用过程中,大多数情况下,我们可能不需要那么多的功能集,并且需要根据实际情况做一些二次开发,此时的话,也许低版本的会更贴近实际使用场景和二次开发场景。
开源代码学习-nsq(v0.1.1版本)源码分析 中已经对v0.1.1版本进行了分析。其是一个单机版本,但发布订阅功能是已经实现。
本文对v0.1.5版本进行分析。此版本已经实现了分布式,分成了两个部分你nsqd:用于做订阅发布。nsqlookupd:用于做topic服务注册与发现。
这种模式就类似于微服务中的模式,增加了一个服务注册和发现模块。
每个单机nsqd用于存储topic,并提供订阅与发布功能。增加的nsqlookupd,则是用于多个单机进行注册服务,并对消费者提供查找对应topic所在的nsqd服务器。
这是一种非常简单的分布式架构。
那么看上传代码日志。分别为v0.1.1版本所在位置和v0.1.5所在位置。
那么看v0.1.5下代码目录:
代码量相对比v0.1.1版本多了好多文件。
分两个大模块开始分解:
nsqd
还是从main函数开始
github.com/nsqio/nsq/nsqd/main.go
104:初始化NSQD
105:真正入口nsqd.Main()
github.com/nsqio/nsq/nsqd/nsqd.go
初始化,并开启了一个协程idPump,这个协程用于全局生成guid的。
这个协程并非主要流程中的,就不做解释。这里对应0.1.1版本中的uuidFactory
这里为真正的main入口。
46:相对比0.1.1版本多了一个LookupRouter协程处理。