前提:在学习本文采集小程序数据之前,相信大家都掌握了抓取数据包的技能,比如使用Mitmproxy进行抓取数据包。如果看到这里的你还没有掌握的话,可以参与辰哥之前的写的一篇关于mitmproxy使用的文章(实战|手把手教你如何使用抓包神器MitmProxy)。
本文目标:利用Mitmproxy抓取某程小程序景点数据,并实现翻页(下一页)循环爬取。
思路:
1、利用Mitmproxy抓取数据包,并进行分析
2、利用分析的结果,编写Python代码进行提取数据,并进行实现下一页采集
mitmproxy抓取数据包
1.启动mitmproxy
先配置好手机的代理IP和启动mitmproxy