新闻爬虫系统架构:
- Zookeeper master:发布爬取任务 监控爬虫子节点存活性 宕机时重启
- Kafka:分布式消费队列
- Ip-pool:动态更换Ip 反防爬
- Extraction service:抽取规则服务器
disruptor:lock free用于快速消费任务
新闻爬虫系统架构:
disruptor:lock free用于快速消费任务
转载于:https://www.cnblogs.com/lnas01/p/10351673.html