接上篇是在requests module里post request
这里scrapy自己有request方法,一般的就用request方法就可以,post方法要用form request,例子:
url="http://english.ctrip.com/chinaflights/ListPartial/GetRefundEndorseV2"
payload = {'item':reinfo}
return scrapy.FormRequest(url,method='POST',formdata=payload,meta={'key':item},callback=self.parse_ticket_policy,dont_filter = True)
def parse_ticket_policy(self, response):
item = response.meta['key'] #meta用来传递参数
a = response.body
j = json.loads(a)
print j[0][],'*****'
a在这里是str类型,用json module里的loads方法把str变为json,然后就可以愉快的抓取数据了。