目前TAPD是把内容放在了POST的响应数据中了
1. 如何获取到TAPD的网址
首先打开tapd的buglist所在页,F12调出控制台,选择NetWork,先清空原先的请求数据,然后点击buglist的第二页可以很清晰的找到有个页面叫bugs_list的
其次选择到Preview栏预览查看是否是想要的内容
2. 如何请求
把请求的数据放在postman中进行调试请求,成功获取到数据的话,用python的请求写法传入相应的参数即可,删除多余的请求数据,优化url。
3. 将响应数据转为JSON
import requests, json
response = requests.request("POST", url, headers=headers, data=payload)
text = json.loads(response.text)
text_list = text['data']['bugs_list']
这样就能获取到想要的数据了,具体的数据处理请根据自己的喜好去提取
scrapy请关注第一篇爬取文章:
https://blog.csdn.net/Python_BT/article/details/108246268?spm=1001.2014.3001.5501