爬虫遇到的一些问题汇总

Clever1996

已于 2023-03-27 13:34:41 修改

阅读量187

点赞数

文章标签： python selenium Powered by 金山文档

于 2023-03-14 14:20:10 首次发布

本文链接：https://blog.csdn.net/Clever1996/article/details/129525180

版权

在爬取百度信息流数据时，原本需要动态生成的reqid参数被发现可忽略。使用postman测试接口后，证实不传reqid也能正常工作。对于x-www-form-urlencoded类型的POST接口，文章提供了参数传递示例，包括params和data的构建。此外，还提到一个GET接口的编码问题，解决方法是将某些部分进行encode。

摘要由CSDN通过智能技术生成

爬虫针对"动态生成reqid"的处理

问题描述：

爬取百度信息流数据时, 需爬接口传参带动态生成的reqid, 这时代码该如何处理?

处理方式：

试着用postman调用该接口, 神奇的事情发生了, 不传这个参数也是可以的!!!

所以,

在代码爬取时, 直接忽略该参数就ok啦~~~

解决方案灵感来自于: https://cloud.tencent.com/developer/article/1874637

post接口如何传参x-www-form-urlencoded

还是上面那个接口, 以往没爬过x-www-form-urlencoded类型传参, 所以记录一下:

# application/x-www-form-urlencoded 形式传参
params = {"levelCond": {"userid": "xxx"},
          "startTime": start_time,
          "endTime": end_time,
          "fields": ["planid", ..., "cost"],
          "pageNo": page_index,
          "pageSize": 50,
          "filters": [],
          "dateType": 0}
data = {
    "userid": "xxx",
    "token": token,
    "path": "carinae/GET/xxx",
    "params": json.dumps(params)}
data = parse.urlencode(data)
res = requests.post(url=xxx, headers=xxx, data=data)