python爬虫获取小米应用商店app信息

最新推荐文章于 2021-03-01 10:57:34 发布

山水一

最新推荐文章于 2021-03-01 10:57:34 发布

阅读量3.1k

点赞数 1

本文链接：https://blog.csdn.net/qq_41197455/article/details/84261711

版权

本文延续前文，详细介绍了如何使用Python爬虫技术抓取小米应用商店中应用和游戏两类APP的相关数据，涉及网络请求、解析技巧等关键步骤。

摘要由CSDN通过智能技术生成

接着上一篇文章，这次爬取小米app的数据。

在这里插入图片描述
主要是爬取应用和游戏这两类的app数据

import requests
from lxml import etree
import re
import datetime

url_2 = "http://app.mi.com/"


def fun(url, page1, pageId1):
    data = requests.get(url).text
    # 去除“”
    a = re.sub('"', '', data)
    # 去除 :
    b = re.sub(':', '', a)
    # 去除 ,
    c = re.sub(',', '', b)
    d = re.sub('{', '', c)
    e = re.sub('}', '', d)
    strId = re.findall(r"packageName(.+?)appId", e)

    leng = len(strId)
    if leng == 0:
        print(leng)
        return

    for a in strId:
        nstr = "http://app.mi.com/details?id=" + a
        data2 = requests.get(nstr).text
        s = etree.HTML(data2)
        try:
            name =