python3.6里有xhr吗_用请求正确构造XHR请求[python]

我正在尝试对一个通过Javascript生成数据的站点进行web抓取。我已经在这里读了足够多的资料,现在我知道,刮这些东西的方法是:查看Firebug中的network选项卡,了解当您发出请求时会发生什么

隔离XHR请求并在脚本中重新创建它们。在

所以,当我做1时,一个POST请求被发送到这个截图中可见的链接:

你也可以看到它得到的反应。看起来不错,对吧?在

但是,当我尝试用Firebug中Post选项卡下看到的负载重新创建请求和响应时,在Python中如下所示:import requests

from bs4 import BeautifulSoup

payload = {"Max":999,"RectCoord":"89,-179,-89,179","Source":"","SortField":"NEWID()","OfficeName":"","FirstName"

:"","LastName":"da","CityName":"","ZipCode":"","Category":"S","SecLanguageReq":"","OfficeCode":""}

r = requests.post('http://search.cnyrealtor.com/MyAjaxService.asmx/MemberSearch', data=payload)

print(r.content)

我得到一个显示错误消息的页面:

Request format is unrecognized for URL unexpectedly ending in \'/MemberSearch\'

所以,我的问题是-为什么当Firebug中的响应正常时,我会得到这样的响应?我在Python脚本的requests.post(url)行中遗漏了什么吗?在

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值