【爬虫】分类爬取小米商店的apk

最新推荐文章于 2022-02-15 20:20:08 发布

Crab0314

最新推荐文章于 2022-02-15 20:20:08 发布

阅读量2.2k

点赞数

分类专栏： Python 文章标签：爬虫 apk爬取小米商店

本文链接：https://blog.csdn.net/crab0314/article/details/89887024

版权

本文介绍了如何使用Python爬虫爬取小米商店的apk，过程中遇到ContentTooShort、502 BadGateway和WinError 10054等错误。针对这些问题，采取了自定义下载器、设置UA代理池、加入休眠机制以及异常处理等策略进行解决，以应对网络不稳定和被检测为恶意请求的情况。

摘要由CSDN通过智能技术生成

在网上找到了一篇文章 Python爬虫——爬取apk，写的很好，改造了一部分代码，如下

主要遇到的几个问题有：

问题1.ContentTooShort：

问题2.502 BadGateWay：

问题3.[WinError 10054] 远程主机强迫关闭了一个现有的连接

问题1，可能是由于网络不稳定引起的，解决方案自定义一个auto_download，加入try-catch重试机制。

问题2和3都是由于请求过于频繁，被检测判定为恶意攻击引起的，解决的方案：配置UA代理池，每次随机选择一个；加入sleep机制，不要让请求过于密集；再就是try-catch所有错误，不然爬虫一会一停很是头疼。

即使是这样，还是可能被强行断掉的可能，就过一会再接着爬了o(╥﹏╥)o，改造后代码如下：

# coding=utf-8
import urllib
import requests
import re
from bs4 import BeautifulSoup
import random
import time

def parser_apks(count = 300,category=1):
    _root_url = "http://app.mi.com"  # 应用市场主页网址
    res_parser = {}
    # 设置爬取的页面，从第一页开始爬取，第一页爬完爬取第二页，以此类推
    page_num = 8
    while count:
        # 获取应用列表页面
        print("进入循环 count=" + str(count))
        wbdata = requests.get("http://app.mi.com/catTopList/"+str(category)+"?page=" + str(page_num)).text
        print("开始爬取第"+str(category)+"类的" + str(page_num) + "页")
        # 解析应用列表页面内容
        soup = BeautifulSoup(wbdata, "html.parser&