Python爬虫-- Scrapy框架

最新推荐文章于 2024-09-25 09:59:34 发布

weixin_34204057

最新推荐文章于 2024-09-25 09:59:34 发布

阅读量65

点赞数

文章标签： python 爬虫数据库

原文链接：http://www.cnblogs.com/Keep-Ambition/p/8463350.html

版权

Scrapy框架

Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。

点击Scrapy框架，快速上手Python Scrapy框架的操作使用

转载于:https://www.cnblogs.com/Keep-Ambition/p/8463350.html