pyspider爬虫 POST Request Payload 请求

pyspider 提交参数请求

在爬取某个网站时，发现post数据格式是Request Payload，不同于之前常见的 Form data格式，使用Form data的数据提交方式请求失败。

1.1 Form data数据格式
get请求的时候，参数是直接url中，格式为key1=value1&key2=value2；
post请求的时候，参数是在请求体中，也是以key1=value1&key2=value2的形式在请求体中。

1.2 Request payload数据格式
请求的Content-Type是application/json。

1.3 二者区别
· 如果一个请求的Content-Type设置为application/x-www-form-urlencoded，那么这个Post请求会被认为是Http Post表单请求，那么请求主体将以一个标准的键值对和&的querystring形式出现。
· 其他形式的POST请求，是放到 Request payload 中，请求的Content-Type设置为application/json;charset=UTF-8或者不指定。

1.4 爬取某证券网的历史代码

@every(minutes=24