python的消息中间件(RabbitMQ)的队列用法

RabbitMQ的基础使用可以参考我的上篇文章：

通往知识的道路https://blog.csdn.net/weixin_51410591/article/details/134122331?spm=1001.2014.3001.5501

随用随取机制

消息队列的“订阅”模式就是：消费者会一直监听队列的变化，一旦监听到队列中添加了消息，便会立即处理，它无法主动控制取用消息的时机。若是应用到爬虫中，消费者其实就是执行爬取请求的进程，生产者将请求加入队列，消费者从中获取请求，然后执行这个请求（向服务器发起HTTP请求），问题的关键来了，消费者是无法控制从发起请求到获取响应所消耗的时间,因为请求什么时候结束取决于服务器的响应速度，所以这意味着消费者不一定能很快地处理完消息。如果生产者在队列中放入过多的请求，消费者处理不过来，则会出现问题。因此我们需要消费者去主动控制处理请求的频率，也就是采用随用随取机制。