![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 91
总有刁民妄想谋害朕
这个作者很懒,什么都没留下…
展开
-
scrapy返回携带参数(yield scrapy.Request(item['url'], meta={'item': item}, callback=self.parse_detail))
name = 'doubanzufang' start_urls = ['https://www.douban.com/group/tianhezufang/discussion?start=50'] def parse(self, response): item = ZufangItem() node_list = response.css(".olt>tr>td....转载 2018-08-26 18:25:54 · 8708 阅读 · 3 评论 -
scrapy与scrapy-redis
Scarp框架 需求 获取网页的url 下载网页内容(Downloader下载器) 定位元素位置, 获取特定的信息(Spiders 蜘蛛) 存储信息(ItemPipeline, 一条一条从管里走) 队列存储(scheduler 调度器) 首先, spiders 给我们一个初始的URL, spider获取列表页内的详情页的url....原创 2018-08-29 20:22:08 · 1620 阅读 · 0 评论