总体概述:
我正在尝试构建一个使用线程从Web抓取信息的应用程序的简单示例。我知道有专用的模块(例如,草率的),但是我想做得更多,以了解和理解线程的工作原理并理解陷阱。另外,我在Python Cookbook(第三版)中看过各种教程(IBM教程和其他教程),关于SO的问题,甚至一些食谱。描述了如何做,但是在使用线程/队列时我仍然挂在某个地方。
首先,我已经阅读了stackoverflow(以及Cookbook),将threading.Thread子类化是一种浪费,因此我一直在尝试使用Thread(target=..., args=(...))来实现。大多数教程似乎都使用(较旧的?)子类化方法,采用这种较新的(?)方式可能会使我感到困惑。
其次,在Python Cookbook中,他们提供了将_sentinel值放入工作队列的示例,您的方法在发现它们时会注意并中断该值。我认为这是我遇到麻烦的地方。
最后,我确定我必须进行各种矫kill过正,因此,我将对使事情变得过于复杂的技巧或指针表示赞赏。感谢您的建议。
具体的编码问题和尝试:
我有一个(公司名称,URL)元组的work_queue。我的方法是解析股票代码名称的网址,并将元组(代码名称,公司名称)发送到输出队列。当所有值都用完时,我试图使用一个哨兵来突破该方法:
def grab_ticker_name(input_q, output_q, _sentinel):
'''Function to be threaded later: grabs company ticker from url and sends