一、【项目背景】
小米应用商店给用户发现最好的安卓应用和游戏,安全可靠,可是要下载东西要一个一个的搜索太麻烦了。而且速度并不是很快。
今天小编就教大家利用多线程爬取小米应用商店的游戏模块,快速获取我们想要的软件安装包。
二、【项目目标】
目标 :应用分类 - 聊天社交 应用名称, 应用链接,显示在控制台供用户下载。
三、【涉及的库和网站】
1、网址:百度搜 - 小米应用商店,进入官网。
2、涉及的库:requests、threading 、queue 、json、time
3、软件:PyCharm
四、【项目分析】
1、确认是否为动态加载。
通过页面局部刷新, 右键查看网页源代码,搜索关键字未搜到 。断定此网站为动态加载网站,需要抓取网络数据包分析。
2、使用chrome浏览器,F12抓取网络数据包。
1.1、抓取返回json数据的URL地址(Headers中的Request URL)。
http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30
1.2、查看并分析查询参数(headers中的Query String Parameters)。
page: 1
categ