关闭

scrapy源码阅读

scrapy是使用python编写的高性能蜘蛛框架. scrapinghub公司提供了基于云的蜘蛛平台, 也是开源项目scrapy后台支持的公司. scrapy0.2x版本升级到1.x版本时, 将原有的scrapy部署服务拆分为独立的版本scrapyd. 这也是0.24版本和1.x版本不同之处.架构scrapy的架构图如图1所示. 数据流的方向如下: Spiders(蜘蛛) Sche...
阅读(1891) 评论(0)
    个人资料
    • 访问:177158次
    • 积分:2951
    • 等级:
    • 排名:第13154名
    • 原创:124篇
    • 转载:4篇
    • 译文:0篇
    • 评论:0条
    文章分类