tapd获取相应内容

目前TAPD是把内容放在了POST的响应数据中了

1. 如何获取到TAPD的网址

首先打开tapd的buglist所在页,F12调出控制台,选择NetWork,先清空原先的请求数据,然后点击buglist的第二页可以很清晰的找到有个页面叫bugs_list的

其次选择到Preview栏预览查看是否是想要的内容
在这里插入图片描述

2. 如何请求

把请求的数据放在postman中进行调试请求,成功获取到数据的话,用python的请求写法传入相应的参数即可,删除多余的请求数据,优化url。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3. 将响应数据转为JSON

import requests, json
response = requests.request("POST", url, headers=headers, data=payload)
text = json.loads(response.text)
text_list = text['data']['bugs_list']

这样就能获取到想要的数据了,具体的数据处理请根据自己的喜好去提取

scrapy请关注第一篇爬取文章:
https://blog.csdn.net/Python_BT/article/details/108246268?spm=1001.2014.3001.5501

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值