bug产生的原因:一页25条数据,本菜程序媛一次请求了10万条数据。
通过print(response.content.decode()),打印请求的html页面,得到信息:“<head><title>504 Gateway Time-out</title></head>”。原来是请求超时了!
将每次请求的数据改成2000条,多进行几次请求,得以解决。
此方法仅供参考,如是同样的“504 Gateway Time-out”,希望能有帮助。
response=session.post('url', headers=headers,params=params, data=data)
print(response.content.decode())
response = json.loads(response.text)