目录
一、需求说明
爬取华为应用市场排行页面下的APP的详情页
二、步骤
1、检查当前页面的URL所获得的响应的数据
①笨办法——程序验证(不建议)
将URL复制到python环境中,通过requests的四步去得到其相应的内容
②简单办法——抓包
通过检查页面找到当前页的相应内容,然后检查里面的内容是否是想要的
先在页面点鼠标右键,然后选项的最下面就是检查了,然后进行如下操作
③验证(抓包,推荐)
根据结果显示,通过URL得到的内容不是页面所呈现的内容,做出可能是ajax的动态加载
④动态加载验证
⑤查找页面的信息
通过上一步的验证发现,其得到的内容并不是页面的内容,所以加下来要继续查找;
查找方向为全部的响应信息
2、获取排行页面数据
①操作 ![](https://i-blog.csdnimg.cn/blog_migrate/50819523fb4ea48ae2b45fcaf09b1cca.png)
②源码
import requests
import json
if __name__ == '