Scrapy框架初始化请求为POST的一些坑
第一次碰到scrapy框架第一个请求为post,找到的两种方法,记录一下
第一种是使用携带 method='POST'
的方法:
yield scrapy.FormRequest(url='https://*****************', method='POST', formdata={'Type': 'UpComing,Live'}, callback=self.parse)
第二种是:
for url in self.start_urls:
yield scrapy.FormRequest(url, formdata={
'Type': 'UpComing,Live'
}, callback=self.parse, headers={'Accept-Charset': 'UTF-8',
'Accept': 'tapplication/json, text/plain, */*',
'Sec-Fetch-Mode': 'cors ',
'Referer': '**/?template=blue&token=e997&_360safeparam=242484&_360safeparam=244656',
'User-Agent': user_agent})
好像没多大区别