今天写一个爬虫代码的时候,目标网页的数据请求方式为post,现在记录一下今天的收货。
1.首先我遇到的问题我的思路是:response=requests.post(url,headers=head,data=datas,proxies =‘某个代理ip’)
按照这个思路,我给各个参数赋值之后,发现我print(response)返回状态码是200,说明我们是可以访问的,但是我print(response.text)返回值为none,这说明我们虽然访问成功了,但是并没有得到任何网页数据,这时候我的第一反应是代理IP是不是被封掉了,我换个网址访问是可以返回数据的,那就是别的问题,接下来我考虑到我携带的参数是不是不够,于是我在head里面加了Cookie和referer,但是结果还是没有数据,最后我想是不是data里面的参数出了问题,果不其然!!!!
困扰我一下午的问题终于解决了,我data传过去的参数少了两个,而且格式有问题,data传过去的应该是一个字典的格式。
python中post请求方式的网页如何获取信息
最新推荐文章于 2023-06-26 22:59:43 发布