![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
孤独猿
Hello World
展开
-
scrapy框架学习
scrapy的工作流程各部件的功能描述:Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。URL队列Downloader(下载器):负责下载Scrap...原创 2019-04-11 16:58:08 · 178 阅读 · 0 评论 -
scrapy框架学习
一、创建scrapy项目scrapy startproject [项目名称]scrapy startproject test0409二、创建爬虫Spider(Ps: 在创建的项目下面创建spider cd test0409)1、继承scrapy.Spider类scrapy genspider [爬虫名] [域名]scrapy genspider tieba tieba.b...原创 2019-04-09 15:05:37 · 154 阅读 · 0 评论