【笔记1】爬取apkpure.com的apk，在google play获取apk的信息

最新推荐文章于 2024-10-18 22:24:09 发布

猛___

最新推荐文章于 2024-10-18 22:24:09 发布

阅读量9k

点赞数

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/jikeye/article/details/88953097

版权

给最近的一项爬虫任务做的一点笔记

目的：从apkpure获取apk的下载地址并且下载到本地（数量估计两千到三千），从apkpure网站上获取对应apk在google play的地址，并且访问获得apk的简介、权限信息和隐私政策链接。

ps：虽然做到最后，爬下来的东西没有被用到，但是从中学到许多，也算有所收获

1、脚本入口：

if __name__ == '__main__':
    pass

2、字典的遍历和合并：

#字典的遍历
for key,number in url_first.items():
    print key,number
#字典的合并
dict1.update(dict2)

3、requests库，用ss做代理的使用方法：

#这里端口设置为1080是因为ss的默认端口为1080
proxies = {
	    'https': 'https://127.0.0.1:1080',
	    'http': 'http://127.0.0.1:1080'
	}

	headers = {
		'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
	}
response = requests.get(url,headers=headers,proxies=proxies)

4、beaut

最低0.47元/天解锁文章