![](https://img-blog.csdnimg.cn/019b436e9f6749e483f0e1f39f29f728.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 68
python编码笔记
Superwwz
知道的越多,不知道的越多
展开
-
python scrapy爬取网站数据(二)
使用Scrapy爬取数据原创 2023-07-07 15:28:56 · 373 阅读 · 0 评论 -
python scrapy爬取网站数据(一)
scrapy中文文档scrapy是用python实现的一个框架,用于爬取网站数据,使用了twisted异步网络框架,可以加快下载的速度。scrapy的架构图,可以看到主要包括scheduler、Downloader、Spiders、pipline、ScrapyEngine和中间件。Schduler:调度器,负责接受引擎发送过来的request,并按照一定的方式进行整理排列、入队,当引擎需要时,交还给引擎。原创 2023-07-07 15:00:52 · 383 阅读 · 0 评论