RabbitMQ的基础使用可以参考我的上篇文章:
通往知识的道路https://blog.csdn.net/weixin_51410591/article/details/134122331?spm=1001.2014.3001.5501
随用随取机制
消息队列的“订阅”模式就是:消费者会一直监听队列的变化,一旦监听到队列中添加了消息,便会立即处理,它无法主动控制取用消息的时机。若是应用到爬虫中,消费者其实就是执行爬取请求的进程,生产者将请求加入队列,消费者从中获取请求,然后执行这个请求(向服务器发起HTTP请求),问题的关键来了,消费者是无法控制从发起请求到获取响应所消耗的时间,因为请求什么时候结束取决于服务器的响应速度,所以这意味着消费者不一定能很快地处理完消息。如果生产者在队列中放入过多的请求,消费者处理不过来,则会出现问题。因此我们需要消费者去主动控制处理请求的频率,也就是采用随用随取机制。