tornado用户指引（五）------- 一个并发的web爬虫

Queue

Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列。这与python标准库为多线程环境实现的queue模块类似。

一个协程执行到yield queue.get会暂停，直到队列中有条目。如果queue有上限，一个协程执行yield queue.put将会暂停，直到队列中有空闲的位置。

在一个queue内部维护了一个未完成任务的引用计数，每调用一次put操作便会增加引用计数，而调用task_done操作将会减少引用计数。

下面是一个简单的web爬虫的例子：

最开始，queue只包含一个基准url。当一个worker从中取出一个url后，它会从对应的页面中解析中所包含的url并将其放入队列，然后调用task_done减少引用计数一次。

最后，worker会取出一个url，而这个url页面中的所有url都已经被处理过了，这时队列中也没有url了。这时调用task_done会将引用计数减少至0.

这样,在main协程里，join操作将会解除挂起并结束主协程。

这个爬虫使用了HTMLParse来解析html页面。