分布式爬虫架构设计

分布式爬虫架构设计

最近又和爬虫干上了，有3000万个搜索关键词，1个关键词搜索结果有多个，每个结果对应一个ID，每个ID的对应的目标页面由多个请求接口返回的json组合而成。

1.在架构上使用kafka分发搜索关键词，利用了kafka同一消费组只消费一次的特性。

2.利用redis进行id去重。

3.在扩展性上利用kafka的consumer balance，实现爬虫进程的可以随时增加减少（当然进程数不应大于对应topic的partition数）。

注意：partition数过大可能会引起kafka的gc，这是因为kafka会为每个作为follower的replica开辟一个空间默认为1M。

架构如图所示：

在实施时创建了1000个partition，也就是可以开1000个爬虫进程，每个进程20个线程，最大并发量有20000。