- 博客(1)
- 收藏
- 关注
RSS订阅原创 scrapy流程
scrapy的官方文档: https://docs.scrapy.org/en/latest/引擎(engine)scrapy的核心, 所有模块的衔接, 数据流程梳理.调度器(scheduler)本质上这东西可以看成是一个队列. 里面存放着一堆我们即将要发送的请求. 可以看成是一个url的容器. 它决定了下一步要去爬取哪一个url. 通常我们在这里可以对url进行去重操作.下载器(downloader)
2023-06-01 17:39:39
574
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人