本文介绍了作者使用Python爬虫从小米应用商店自动化爬取APK的过程，包括解析网页元素获取APK链接、下载APK、解析下一页链接，以及源码分析，最终目标是提升爬取效率，计划通过Celery实现异步并发。
原因
为了对大量Android样本进行分析，我们需要从不同的应用市场中对应用进行爬取
目标
使用Python实现对于小米商城中的APK进行爬取，实现自动化爬取功能。
过程
- 解析对应网页元素，获取APK链接
- 获取每一个APK链接中下载链接
- 对下载链接进行访问，将返回数据保存到本地
- 找到是否有下一页的元素，从来获取下一页页面地址，重复上述操作
访问下一页的操作十分必要，这样才能够实现整个系统的自动化
源码分析
Github：https://github.com/QyMars/APKSpider
解析对应网页元素，获取APK链接 ：
def parseURL(self, url):
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
