- 博客(10)
- 收藏
- 关注
RSS订阅原创 使用Scrapy选择器提取豆瓣电影信息
引擎（Engine）： 负责控制整个爬虫系统的流程，包括调度器、下载器和爬虫之间的通信。它负责调度并协调各个组件的工作。调度器（Scheduler）： 负责接收引擎发送过来的请求，并按照一定的策略将这些请求排队，然后发送给下载器。下载器（Downloader）： 负责下载引擎发送过来的请求对应的页面，并将下载到的页面内容返回给引擎。爬虫（Spiders）： 爬虫是用户编写的一组类，用于定义如何爬取特定网站（或者一组网站）的数据。每个爬虫都包含了一些用于从网页中提取数据的解析规则。
2024-04-18 15:22:19
1971
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人