scrapy
运维点滴
大家好,我是一枚不断进取的运维攻城狮,分享记录我的笔记~
展开
-
Scrapy翻页
Scrapy翻页next_page_url = response.xpath("//a[text()='下一页']"/@href).extract()while len(next_page_url)>0 yield scrapy.Request(next_page_url,callback = self.parse)# scrapy.Request 能构建一个requests,同时指定提取数据的callback函数scrapy.Request知识点:scrapy.Request(url,原创 2020-10-23 08:59:10 · 195 阅读 · 0 评论 -
Scrapy分工合作图
转自黑马课件原创 2020-10-22 10:07:08 · 108 阅读 · 0 评论 -
Scrapy5大组件工作流程
原创 2020-10-19 18:19:47 · 109 阅读 · 0 评论