scrapy 递归爬取如何传递参数,且解决循环yield时总是得到最后一个数据
我们写爬虫的时候经常会遇到比如一页有20个产品,但是还需要进入单个产品里面爬取更详细的信息,这里就涉及到如何传递参数才能匹配好各个产品的信息,这里就引出scrapy中 request的meta参数,该参数只接受字典形式
meta={'k1':v1,'k2':v2}
用法如下
def parse(self, response):
items = ScrapytestItem()
...
原创
2020-04-18 09:37:15 ·
1794 阅读 ·
1 评论