Scrapy Pipeline之处理CPU密集型或阻塞型操作

最新推荐文章于 2024-08-07 08:51:51 发布

bluespacezero

最新推荐文章于 2024-08-07 08:51:51 发布

阅读量5.8k

点赞数 4

分类专栏： scrapy 网络爬虫

本文链接：https://blog.csdn.net/Q_AN1314/article/details/51222624

版权

本文介绍了如何在Scrapy Pipeline中处理CPU密集型或阻塞操作，利用Twisted的线程池避免主线程阻塞，保证Scrapy的事件驱动能力。通过示例展示了在Pipeline中进行计算并在不同线程间安全通信的方法，强调了在存在全局状态时使用锁来防止竞态条件的重要性。

摘要由CSDN通过智能技术生成

Twisted框架的reactor适合于处理短的、非阻塞的操作。但是如果要处理一些复杂的、或者包含阻塞的操作又该怎么办呢？Twisted提供了线程池来在其他的线程而不是主线程（Twisted的reactor线程）中执行慢的操作——使用reactor.callInThread() API。这就意味着reactor在执行计算时还能保持运行并对事件做出反应。一定要记住线程池中的处理不是线程安全的。这就意味着当你使用了全局的状态之后，还要面临所有那些传统的多线程编程的同步问题。下面是一个简单的例子：

class UsingBlocking(object):
    @defer.inlineCallbacks
    def process_item(self, item, spider):
        price = item["price"][0]

        out = defer.Deferred()
        reactor.callInThread(self._do_calculation, price, out)

        item[