def parse_page1(self, response):
return scrapy.Request(url, callback=self.parse_page2)
def parse_page2(self, response):
self.logger.info(response.url)
meta使用方法一定要学会:
request.meta['item'] = item
item =response.meta['item']
两个不同解析函数之间进行传递参数方法。
requests的子类FormRequests的使用方法:
其中formdata的字典值可以是登录用户名和密码。
response的方法:
response.xpath
response.css
response还有一些子类,这里不再详细叙述